yetoneʼning Alma Agent Harnessi FrontierHarness v1.1 ning vaqtinchalik reytingida uchinchi, yakuniy reytingda esa oltinchi oʻrinni egalladi

Baidu ning ERNIE jamoasi ERNIE 5.5 Flash modelining ishlov berilmagan oldindan oʻquv nuqtasini tashkil etuvchi ERNIE-5.5-Flash-Base ni eʼlon qildi. Ushbu chiqarish 5-noyabr kuni Hugging Face platformasida joylashtirildi.

Mixture-of-Experts (MoE) tarmoq arxitekturasidan foydalanadigan model umumiy 280 milliard parametrga ega, bunda har bir token uchun 14 milliard parametr faollashtiriladi. U 33,5 trillion tokenlar asosida boshidan oʻqitilgan boʻlib, maksimal oʻquv kontekst hajmi 128 ming tokenni tashkil etadi, ammo nozik sozlash va inferens uchun kontekst qoʻllab-quvvatlashi 1 million tokenni yetadi.

Baidu modelni maqsadli ravishda yakunlanmagan holatda chiqardi. Ogʻirliklar oldindan oʻqitishning tugash bosqichidan olingan va hali vositachilik yoki keyingi oʻqitish bosqichlaridan oʻtmagan. Kompaniya buni mavzu sohasi moslashuvi, koʻrsatma sozlash va kuch bilan oʻrganish boʻyicha tadqiqotlar uchun umumiy boshlangʻich nuqtasi sifatida taqdim etadi. Jamoa keyinchalik ERNIE 5.5 Flash ning keyinroq oʻqitilgan versiyasi chiqarilishini maʼlum qildi.

Mavjud ogʻirliklar Baidu ERNIE 5.5 Flash Base Model v1.0 Litsenziya shartnomasi boʻyicha FP8 va BF16 formatlarida taqdim etiladi. Model SGLang va vLLM orqali ishlatilishi mumkin, shuningdek, NVIDIA Megatron-Bridge repozitoriyasida nozik sozlash misoli ham keltirilgan.

Bu 43 qatlamli model samaradorlikga urgʻu berib loyihalashtirilgan. Koʻpgina qatlamlar Baidu ning yuqori darajada siqilgan diqqatini ishlatadi, bu har bir 128 tokenni bitta kesh yozuviga birlashtiradi. Yetti qatlamdan faqat biri top-k boʻyicha sekin tanlangan koʻp boshli latent diqqat orqali toʻliq token darajasidagi kontekstga kirishni saqlab qoladi. Umuman olganda, 43 qatlamdan 37 tasi siqilgan ketma-ketlik bilan ishlaydi, bu kichik KV-keshni saqlash imkonini beradi. Bundan tashqari, past rangli ventilyatsion diqqat dizayni proyeksiya portalini 75% ga kamaytiradi, deb aytdilar ishlab chiquvchilar.

MoE qismida Baidu standart yagona yoʻnaltiruvchini bir nechta mustaqil boshlangan yoʻnaltiruvchilarga almashtirdi, ular ekspertlarni birgalikda baholaydi. Kompaniya bu yoʻnaltirish baholari va ekspertning haqiqiy foydaligi oʻrtasidagi moslikni oshirishini, faol ekspertlar sonini, hisoblash quvvatini yoki aloqani oʻzgartirmasligini taʼkidlaydi. Har bir MoE qatlami 512 ta yoʻnaltirilgan ekspertlardan 10 tasini va bitta umumiy ekspertni tanlaydi, siqilgan latent fazoda ishlaydi, bu ekspertlar aloqasi va hisob-kitoblarni taxminan ikki barobar kamaytiradi. ECHO nomli komponent modelning oxirgi qatlamini yangi tokenlarni bashorat qilish uchun qoʻshimcha koʻp tokenli bashorat modulini qoʻshish oʻrniga qayta ishlatadi va spekulyativ dekodlash uchun loyiha modeli vazifasini bajaradi.

Oldindan oʻqitish uchun minglab akseleratorlarda aralash aniqlik FP8 optimallashtiruvchisi Muon va yangi FlashMask-4 diqqat yadrosi ishlatildi. Baidu bu yadroning katta sarlavhalar uchun SM100 sinfidagi GPUda FlashAttention-4 dan 175% tezroq ishlashini taʼkidlaydi. Maʼlumotlar aralashmasi repozitoriya darajasidagi kodga, shu jumladan commitlar, birlashish soʻrovlari, kod tekshiruvlari va tuzatishlarga, CI tomonidan tasdiqlanganlarga, shuningdek, uzun hujjatlarga urgʻu berib amalga oshirildi.

Baidu modelni 30 ta benchmarklarda sinovdan oʻtkazdi, uni DeepSeek-V4-Flash-Base, Hy3-preview-Base va MiMo-V2.5-Base bilan yagona baholash tizimidan foydalanib solishtirdi. Eʼlon qilingan natijalar DeepSeek-V4-Flash-Base ning 69,2 balliga qarshi MMLU-Pro da 78,4 ball, shuningdek, HumanEval+ da 69,5 ga qarshi 82,3 ballni oʻz ichiga oladi. Shu bilan birga, solishtirilayotgan modellar ChineseSimpleQA, fikrlash zanjiri bilan BBH va InfiniteBench kabi baʼzi testlarda ustunlikka ega boʻlishdi.

Tsinghua universiteti va Zhejiang universiteti tadqiqotchilari Algebraik Dunyo Modeli (AWM) ni taqdim etdilar — bu agent nafaqat interaktiv ARC-AGI-3 jumboqlarini hal qila oladi, balki maʼlum bir darajani bosib oʻtishning imkonsizligini ham formal jihatdan isbotlay oladi.

arXivda 29-oktabr, QbitAI tomonidan esa 1-noyabrda eʼlon qilingan ishni Zhejiang universitetidan Guangchen Pan, shuningdek, Tsinghua universitetidan Cixin Tan, Yan Yuan va Andrew Chi-Chi Yao amalga oshirdi.

AWM uch bosqichda ishlaydi. Avvalo, u oʻyinni oʻrganadi va muhit xatti-harakatlari haqida Python dasturlash tilida gipotezalarni shakllantiradi, notoʻgʻri kuzatuvlar aniqlanganda ularni tuzatadi. Keyin bu gipotezalar nazariy kategoriyalar tushunchalariga tayanib, qoidalar, maqsadlar va obʼektlarni tasvirlaydigan tuzilgan modelga soddalashtiriladi. Yakuniy bosqich esa ushbu modelni Lean 4 isbotlash yordamchisida formalizatsiya qilish boʻlib, bunda mashina darajani bosib oʻtish imkoniyati kabi bayonotlarni tekshirishi mumkin.

Jamoa yopiq darajalarda sinov oʻtkazdi, bu yerda harakatlar byudjeti gʻalabani imkonsiz qilardi. AWM barcha oltita bunday daraja uchun Lean yordamida imkonsizlikni isbotlashni taqdim eta oldi, shu paytda Claude Opus 5.5 va GPT-6 Astra ning 12 marta ishga tushirishlari buni qila olmadi. Bir misolda, minimal gʻalaba 18 byudjetda 19 qadam talab qilgan joyda, Astra 22 qadamda yechim topganini bildirgan, AWM esa oltita darajadan toʻrttasining toʻgʻri boshlangʻich chegaralarini belgilagan, Opus 5.5 uchun bittasini va Astra uchun nolni koʻrsatib, qayta aloqa orqali barchasi uchun natijaga erishdi.

Barcha 25 ta jamoatchilik oʻyining ichidagi 183 ta darajani qayta oʻynash jarayonida, oʻrganilgan modellar yangi tartiblardagi barcha 4160 ta oʻtishlarni bashorat qila oldi va oʻyin mexanikasi oʻzgargandan soʻng barcha 4031 ta oʻtishni rad etdi. Claude Opus 5 ni oʻyinchi sifatida ishlatganda, AWM oʻz ballini 40.7 dan 99.9 gacha koʻtarib, asosiy inson variantida qabul qilingan harakatlarning atigi 43% dan foydalangan.

Mualliflar sezilarli cheklovni taʼkidlaydilar: isbotlarning ishonchliligi oʻrganilgan modelning sifatiga bogʻliq, shuning uchun imkonsizlik haqidagi natija AWM oʻyin modeli doirasida toʻgʻri, oʻyinning faktik kodiga nisbatan emas.