Huawei Noahʼs Ark Lab, University College London va boshqa jamoalar tadqiqotchilari QbitAI maʼlumotlariga koʻra, ARC tanlovining interaktiv benchmarki boʻlgan ARC-AGI-3 ning jamoatchilik toʻplamidagi barcha 25 ta oʻyin va 183 ta darajadan muvaffaqiyatli chiqqan agentlar tizimi boʻlgan Memento 3 ni taqdim etishdi.
ARC-AGI-3 bu agentga qoidalar, maqsadlar yoki harakatlari tavsifi berilmagan, piksel uslubidagi nomaʼlum oʻyinlarga joylashtiriladigan muhitdir. Memento 3 jamoatchilik toʻplami ustida 7 518 ta harakatdan foydalanib ishni yakunladi, bu inson natijasi boʻlgan 17 135 ta harakatdan sezilarli darajada kamroq boʻlib, inson harakatining umumiy sonining taxminan 44% ni tashkil etdi va RHAE (Relativ Inson Harakati Samaradorligi) metrikasida maksimal 100 ballni oldi.
Jamoatchilik toʻplamidagi avvalgi eng yaxshi natija mustaqil ishlab chiquvchi Sergey Rodionov tomonidan uning asosiy modeli yordamida erishilgan edi, u ham barcha oʻyinlarni hal qilgan, ammo 8 347 ta harakat sarflab 99 ball olgan.
Biroq, bu natijaning ikkita muhim cheklovi mavjud. Birinchidan, Memento 3 asosini tashkil etuvchi model Huawei modeli emas; tizim eng yuqori darajadagi fikrlash rejimida Claude Opus 5 ustida ishlaydi, ogʻirliklar yangilanmaydi va aniq oʻyinlarga mos ravishda sozlanmaydi. Ikkinchidan, bu faqat jamoatchilik oʻyinlari haqida, va jamoatchilik toʻplamidagi mukammal natija tizimning umumlashtirish qobiliyatini tekshiradigan yashirin sinov oʻyinlarida qanday ishlashini aks ettirmaydi.
Shunga qaramay, shu asosiy model rasmiy ARC Prize apparatida RHAE boʻyicha oʻrtacha 40,7 ni koʻrsatadi, shuning uchun samaradorlik oshishi agent arxitekturasining oʻziga bogʻliq.
Agent arxitekturasi «Kod sifatida Model» deb nomlangan. Oʻyin davomida agent tabiiy tilda qoidalar majmuasini saqlab turadi, soʻngra uni oʻyinni simulyatsiya qiluvchi Python kodiga aylantiradi, keyin esa oʻzining simulyatori ichida qadamlarni rejalashtiradi. Agar haqiqat simulyatsiyaga zid kelsa, agent ikkala elementni ham qayta yozadi. Bir oʻyinda u dastlab maxsus pol tashiluvchi naqshni aks ettirishini taxmin qildi, ammo keyin naqsh aslida soat strelkasi yoʻnalishi boʻyicha 90 daraja aylantirilganligini aniqladi. Tizim avvalgi harakatlarni qayta ijro etadi va har bir 64x64 oʻlchamli kadrni solishtiradi, bu kod sodir boʻlgan narsani qayta tiklashini taʼminlaydi. Har qanday oʻzgarish Git da qayd etiladi, bu notoʻgʻri tuzatishlarni bekor qilish imkonini beradi.
Uchta oʻyinda elementlarni chiqarib tashlash eksperimentlarida qoidalar majmuasini saqlash harakatlar sonini taxminan 9% ga qisqartirishga yordam berdi. Bitta oʻyinda ikki raqobatbardosh global modeldan foydalanish bilan harakatlar soni 899 dan 597 gacha kamaydi, garchi bu test faqat shu aniq oʻyin ustida oʻtkazilgan boʻlsa ham.
Jamoa tizimni Atari Pong da ham sinovdan oʻtkazdi. Taxminan 9 500 kadr asosidagi qaytish fizikasi tushunilgandan soʻng, kodga asoslangan siyosat til modelini chaqirmasdan oʻynadi va 21:0 natijasida uchta oʻyinni yutqazdi. Mualliflar tadqiqot katta miqdordagi tokenlarni talab qilishini taʼkidlaydilar va real dunyoning murakkabroq ssenariylari hali sinovdan oʻtmagan.