USP va Unicamp tadqiqotchilariga koʻra, sunʼiy intellektning (SI) kattaroq hajmi yaxshiroq ishlash kafolati ekanligi savoli aniq vazifaga bogʻliq. Bir qator ilovalarda yanada samarali va ixtisoslashgan tizimlar kamroq maʼlumot va hisoblash resurslari talab qilib, zarur darajadagi samaradorlikni taʼminlay oladi.
Bu munozara katta modellar ahamiyatini yoʻqotgani degani emas. Marcelo Finger tizimlarning maʼlumotlar va hisoblash quvvatiga tobora bogʻliqligini tanqid qilayotgan boʻlsa, matematik Marcos Eduardo Valle kichik modellar va chuqur oʻrganishning yirik tizimlari oʻrtasidagi boʻshliqni koʻrsatib, oʻrta yechimlarni oʻrganish uchun salohiyatni koʻrmoqda.
Marcelo Finger uchun SI sohasidagi yaqinda yuz bergan taraqqiyotning asosiy yutuqlaridan biri mashinalarning nutq, tasvir va ovoz kabi turli xil maʼlumotlardagi naqshlarni tanib olish qobiliyatining kengayishi hisoblanadi. Bu yutuq 2017 yilda tilaroq tarjima qilish uchun dastlab ishlab chiqilgan Transformer arxitekturasi paydo boʻlishi bilan yangi turtki oldi, u zamonaviy katta til modellarining asosiga aylandi.
Biroq, Finger bu yondashuvning cheklovini taʼkidlaydi: Transformer kirish maʼlumotlarini bir necha marta qayta koʻrib chiqishi kerak, va bu jarayon kirish maʼlumotlari hajmi oshishi bilan kvadratik ravishda oʻsadi. Oddiy qilib aytganda, model tahlil qilish uchun qancha koʻp maʼlumot kerak boʻlsa, kerakli hisoblash miqdori shuncha tez ortadi, bu esa qayta ishlash xarajatlarini va tobora katta modellar bilan ishlash uchun talab qilinadigan resurslarni oshiradi.
Hisoblash quvvati bilan birga, Finger energiya va suv, shuningdek, uskunani ishlatish bilan bogʻliq issiqlik chiqarilish kabi resurslarni ham eslatadi. U bundan tashqari, katta til modellarining mashhurlashishi bilan bu soha rivojlanishi bu yondashuvga haddan tashqari eʼtibor qaratayotganini hisoblaydi, chunki baʼzi tadqiqotlar SI bozarga chiqqanida shu yoʻnalishni kuzatishni boshladi.
Marcos Eduardo Valle ham bu jarayonning chegaralarini koʻradi, apparat taʼminotining rivojlanishi stagnatsiyaga yaqinlashishi mumkin deb taxmin qiladi. U grafik protsessorlar (GPU) ning taraqqiyotiga chuqur oʻrganish uchun mavjud quvvatni oshirish imkonini bergan omil sifatida murojaat qiladi, ammo shunday deydi: «Bu apparat taʼminoti masalasi sekinlashgan koʻrinadi va men biz ham bu chegaraning tepasiga urilishimizni oʻylayman, balki bu gigant modellar stagnatsiya qilmoqda».
Umumiy maqsadli katta modellar aniq ustunlikka ega – ular juda koʻp turdagi vaziyatlar bilan shugʻullanishi mumkin. Biroq, Valle fikricha, bu ularni har qanday vazifa uchun optimal tanlov qilmaydi. U tibbiyot va qishloq xoʻjaligi misollarini keltiradi, bu yerda maʼlumotlar hajmi katta til modellarini oʻqitish uchun ishlatiladigan maʼlumotlardan sezilarli darajada farq qilishi mumkin. Masalan, tibbiyotda kerakli maʼlumotni olish koʻpincha professional baholarga bogʻliq va murakkabroq jarayonlarni oʻz ichiga oladi.
Bunday sharoitlarda, aniq vazifa uchun ishlab chiqilgan yechim mavjud maʼlumotlardan yaxshiroq foydalanishi mumkin. Ulkan imkoniyatlar toʻplamini oʻrganishga urinish oʻrniga, model muammoning maʼlum xususiyatlarini integratsiya qilishi mumkin. Biroq, bu ixtisoslashish shartga ega: maxsus model hal qilinayotgan vazifa haqidagi maʼlum bir farazlarga asoslanadi. Agar bu farazlar haqiqiy vaziyatda notoʻgʻri boʻlsa, generalist model koʻproq variantlarni qayta ishlash qobiliyati tufayli yanada foydaliroq boʻlishi mumkin. U taʼkidlaganidek: «Shunday qilib, uni dizayn qilinmagan boshqa vazifaga joylashtirishga urinmaslik kerak».
Shunday qilib, tanlov faqat modelning hajmi bilan cheklanmaydi; mavjud maʼlumotlar turi va hajmi, qoʻllash maqsadi va muammoning oʻziga xos xususiyatlari ham muhimdir.
Finger tomonidan Covid-19 pandemiyasi davrida amalga oshirilgan loyiha maʼlumotlar tanqisligi sharoitida ixtisoslashgan yondashuvning qoʻllanilishini namoyish etadi. Maqsad odam ovozini tahlil qilish orqali nafas yetishmovchiligi belgilari va kasalxonaga yotishga ehtiyoji boʻlishi mumkin boʻlgan bemorlarni aniqlashga yordam berish edi. Bunda ovoz orqali koronavirusni aniqlash maqsad qilingan emas edi.
Dastlabki vazifa nafas yetishmovchiligini aniqlash edi, bu turli sabablarga koʻra yuzaga kelishi mumkin boʻlgan va pandemiya davrida eng ogʻir Covid-19 holatlari bilan bogʻliq boʻlgan muammo edi. Birinchi toʻsiq maʼlumotlarni olish edi: jamoa ikki oy davomida taxminan 600 nafar bemor haqida maʼlumot yigʻdi, ammo yozuvdagi muammolar tufayli deyarli uchdan biri tashlab yuborildi. Audio yozuvlar shovqinlar, jumladan, ovolv, uskuna ishlashi, televizor va odamlarning harakati bilan katta miqdorda shovqinlar bilan kasalxona sharoitida amalga oshirildi.
Bu tovushlarni oddiygina oʻchirish oʻrniga, jamoa atrof-muhit shovqinidan maʼlumotlarga koʻproq oʻxshashlik berish uchun foydalanishga qaror qildi. Tadqiqotchilar parvarish joylaridan tovush namunalarini yigʻib, bu shovqinlarni yozuvlarga qoʻshdilar. Bu, tizim tadqiqotga tegishli boʻlmagan xususiyatni oʻzlashtirmasligi uchun qilingan edi: kasalxonada qilingan yozuv va uyda qilingan yozuv oʻrtasidagi farq. Signallarni bir xil qilib, jamoa model nafas yetishmovchiligi bilan bogʻliq ovoz belgilariga eʼtibor qaratishini maqsad qildi.
Fingerning maʼlumotlariga koʻra, birinchi versiya 91% aniqlikka erishdi. Algoritmda oʻzgartirishlar va yangi tahlillardan soʻng bu koʻrsatkich 96,5%, keyin esa oʻrganilayotgan kontekstda nafas yetishmovchiligini aniqlash uchun 99% gacha oshdi. Natija tadqiqotchi tomonidan taqdim etildi va jamoa tomonidan oʻrganilgan kontekstga tegishli edi; vosita aniq cheklangan vazifaga ega edi: nafas yetishmovchiligi belgilarini aniqlash.
Samaraliroq yechim nol dan yaratilishi shart emas. Valle katta maʼlumotlar bazasida oʻqitilgan modellar tomonidan olingan bilimlardan foydalanish imkonini beruvchi usullarni eslatadi. Ulardan biri transfer oʻrganish boʻlib, bunda katta maʼlumotlar toʻplami ustida oʻqitilgan model keyinchalik yanada maxsus vazifa uchun moslashtiriladi. Ikkinchi usul — bilimlarni distillash boʻlib, bu kattaroq modelning bilimlaridan foydalanib kichikroq model qurish imkonini beradi.
Bu imkoniyat katta modellar va ixtisoslashgan yechimlar majburiy raqobatlashmasligini koʻrsatadi. Valle katta til modelini foydalanuvchi bilan oʻzaro aloqada ishlash uchun ishlatish va keyin maʼlumotni maʼlum bir vazifa uchun javob beruvchi kichikroq, ixtisoslashgan modelga uzatish imkoniyatini keltiradi. Bunday arxitekturada turli tizimlar turli funksiyalarni bajarishi mumkin: generalist model kommunikatsiya bilan shugʻullanadi, maxsus yechim esa ilova ehtiyojlariga muvofiq maʼlumotni qayta ishlaydi.
Vallening oʻzi ishining asosini shu gʻoya tashkil etadi. Matematik samaradorlikni oshirish va maʼlumotlarga boʻlgan ehtiyojni maʼlum ilovalarda kamaytirish uchun geometrik va algebraik maʼlumotlarni oʻz ichiga olgan chuqur oʻrganish modellarini oʻrganadi. Tadqiqotchi keltirgan misollardan biri kuzatuv kamerasi bilan bogʻliq. Agar tizim shubhali harakatni aniqlashi kerak boʻlsa, kameraning joylashuvi oʻzgarishi uning bu harakatni aniqlashni toʻxtatmasligi kerak. Yondashuv muammoning geometriyasi haqidagi maʼlumotni hisobga oladi, bu esa perspektiva oʻzgarganda ham dolzarb boʻlib qoladigan xususiyatlarni ishlab chiqishga kiritish imkonini beradi. Vallening soʻzlariga koʻra, bunday strategiya modellarni yanada samaraliroq va nihoyatda kamroq maʼlumotlar bilan oʻqitilgan qilishi mumkin.
Bunday tizimlarni ishlatishda ham afzalliklar mavjud. Valle taʼkidlaydiki, yanada ixcham yechimlar kamroq xarajatlar bilan yaxshi samaradorlik koʻrsatishi mumkin, kamroq qayta ishlash, energiya va hisoblash resurslari talab qiladi. Ilovaga qarab, ularni bulutga maʼlumot uzatmasdan mahalliy ravishda ishga tushirish mumkin.
Finger katta modellarga diqqatni jamlash tendensiyasini koʻradi. Uning fikricha, tadqiqotchilar va kompaniyalar diqqat markazida turgan texnologiyalarga kuchlarini yoʻnaltirishga moyil. U shunday dedi: «Hisoblash sohasi yuqori moda emas, balki moda tomonidan koʻproq boshqariladi».
Valle kamroq ikkilamchi pozitsiyani egallaydi. U katta modellar hali ham rivojlanish uchun joyi bor deb hisoblaydi, lekin shuningdek anʼanaviy kichik modellar va gigant chuqur oʻrganish tizimlari oʻrtasidagi sohada imkoniyatni koʻradi. «Men tendensiya shu boʻshliqda harakat qilish, juda katta ham, juda kichik ham boʻlmagan model yaratish deb oʻylayman. Shunday qilib, men oʻrta oʻlchamdagi modellar boʻyicha koʻplab narsalar oʻrganish uchun mavjud deb oʻylayman».
[ ]