MindLab kompaniyasi Mixture-of-LoRA usuli yordamida qo'shimcha o'qitilgan Macaron-V1 modelini chiqarib berdi. Ushbu ishlanma Zhipu AI GLM 5.2 asosida qurilgan va maqsadli kuchaytirishni rag'batlantirish orqali (RL) mavjud modelning imkoniyatlarini minimal hisoblash xarajatlari bilan sezilarli darajada oshirish mumkinligini namoyish etadi.
748 milliard parametrga ega va millionlik tabiiy kontekstni qo'llab-quvvatlaydigan flagman Venti versiyasi 1 milliard parametrli to'rtta mustaqil ekspert LoRA adapteridan foydalanadi. Bu ekspertlar chat, agentlar, kodlash va foydalanuvchi interfeysi sohalarini qamrab oladi. Har bir ekspert maxsus Mixture-of-LoRA texnikasi yordamida izolyatsiya qilingan adapterlar fazasida o'qitilgan bo'lib, bu ko'p vazifali qo'shimcha o'qitish paytida ko'pincha kuzatiladigan qobiliyatlararo ta'sirni oldini oladi.
MoL usuli an'anaviy qo'shimcha o'qitishdan sezilarli farq qiladi. Standart ko'p vazifali qo'shimcha o'qitish funksiyaning birini yaxshilash boshqasining yomonlashishiga olib keladigan
Pekin universiteti va Xitoy Fanlar akademiyasining Shanghay mikrosistemalar instituti hamkorlikdagi tadqiqotchilar guruhining fazo-o'tish memristorlariga asoslangan dunyodagi birinchi millisekundalik darajadagi neyromorfik dinamikali chiplarni ishlab chiqqan. Ushbu ish 14-iyul kuni Science jurnalida nashr etildi.
Faqat 0,28 kvadratmillimetr o'lchamli bu chip hisoblash kechikishini 2,12 millisekundagacha yetkazishi mumkin. U matritsaviy operatsiyalarni bajarish uchun hisoblash massivlari va moslashuvchan integratsiya uchun bosqichli siljish massivlarini integratsiya qiladi.
Bu chip neyronik dinamika tizimlaridagi hisoblashga yondashuvni fundamental tarzda o'zgartiradi. An'anaviy Von Neyman arxitekturasi xotira va protsessorni ajratadi, bu ma'lumotlarning ular orasida doimiy harakatlanishiga majbur qiladi, bu esa neyronik dinamika uchun zarur bo'lgan differensial tenglamalarni yechishda kechikish va energiya sarfi nuqtalarini yaratadi. Pekin universiteti jamoasi bu muammoni boshqacha hal qildi, fazo-o'tish xotira qurilmalarining fizik xususiyatlaridan foydalangan holda hisoblashni amalga oshirdi, ko'proq tezkor raqamli sxemalar yaratish o'rniga.
Fazo-o'tish memristorlari uzluksiz o'zgaruvchan o'tkazuvchanlikka ega bo'lib, uni aniq dasturlash va vaqt o'tishi bilan bashorat qilinadigan rivojlantirish mumkin. Tadqiqotchilar neyronik dinamika yechuvchilari talab qiladigan moslashuvchan integratsiya izlanishini ushbu memristorlarning o'tkazuvchanligi evolyutsiyasi bilan bevosita bog'ladilar. Bu shuni anglatadiki, raqamli sxemalar ko'plab soat sikllari orqali bajaradigan qadam hajmini izlash, baholash va sozlash qurilma ichidagi fizik evolyutsiya orqali sodir bo'ladi.
Bundan tashqari, o'tkazuvchanlikning ko'p darajali nazorati xotirada yuqori zichlikdagi hisoblash massivlarini yaratish imkonini beradi, ular bir vaqtning o'zida neyron tarmog'ining vaznlarini saqlaydi va bitta massiv ichida matritsaviy operatsiyalarni bajaradi.
Eksperimental ma'lumotlar ta'sirli samaradorlikni namoyish etadi. Eng ilg'or ASIC tezlashtirgichlar bilan solishtirganda, tizim energiya sarfini 3,9–7,8% ga kamaytirish bilan 3,82 dan 36,27 gacha tezlashishni ta'minlaydi. Miya qobig'ining yuqori aniqlikdagi rekonstruksiya vazifalarida tizim NVIDIA A100 GPU dan 50,38–478,18 baravar ustunlik qiladi. Bu neyronik dinamikaning apparat ta'minoti millisekundalik real vaqt rejimida ishga tushirilgan birinchi holat bo'ldi, bu avval oflayn qayta ishlash bilan cheklangan ilovalarni onlayn real vaqt imkoniyatlariga aylantirishga imkon berdi.
Science jurnalida nashr etilgan maqolada ushbu ishni jismoniy boshqariladigan hisoblashlardagi paradigma almashinuvi sifatida tasvirlaydigan umumiy maqola ham mavjud. Ushbu ishlab chiqishning ahamiyati faqat namoyish etilgan miya modellashtirishidan tashqariga kengayib, real vaqt rejimida miya-kompyuter interfeyslari, miyaning raqamli ikizlari, jarrohlik uchun neyron navigatsiyasi va nevrodegenerativ kasalliklarni aqlli diagnostikasi kabi imkoniyatlarni o'z ichiga oladi. 50 MG chastotada va 9 bosqichli konveyerizatsiya bilan ishlaydigan chip arxitektura innovatsiyalari maxsus hisoblash vazifalari uchun GPUdan foydalanish 'qo'pol kuch' yondashuvi bilan solishtirganda, darajalar darajasida yaxshilanishni ta'minlashi mumkinligini ko'rsatadi.
Tadqiqot New Cornerstone Investigator, Milliy R&D dasturi va Tabiiy fanlar milliy fondi, shuningdek, Guangdong xotira ichidagi hisoblash chiplari bo'yicha Kalit laboratoriyasi tomonidan qo'llab-quvvatlandi. Bu chip jismoniy boshqariladigan hisoblashlar va xotira ichidagi hisoblashlar rivojlanayotgan sohasiga chinakam xitoy hissasidir, bunda samaradorlik oshishi Murr qonuniga ko'ra miqyoslash emas, balki qurilmalarning fizikasiga bog'liqdir.
