SenseTime tsiklik arxitektura bilan SenseNova-Loop-9B-Preview modelini chiqardi

StartLux jamoasi, StartLux-Decision modellari oilasining ortida turgan yosh xitoy guruhining kodi ochiqlandi. Ular qaror qabul qilish modellari uchun maxsus ishlab chiqilgan Prism chiqarish mexanizmini taqdim etdilar. Kod 22-oktabrda GitHubda eʼlon qilindi va kompaniya bu birinchi ochiq dvigatel ekanligini taʼkidlaydi, u chatga yoʻnaltirilgan freymvorkdan moslashtirilmagan, balki aynan shu sinf modellari uchun yaratilgan.

Qaror qabul qilish modellari maʼlumotlarni qayta ishlaydi va uzun matn emas, balki hukm chiqaradi, masalan, 'ha' yoki 'yoʻ javobi, variantni tanlash yoki ehtimolliklar bilan xavf bahosini. Avvalgi StartLux-Decision v1.1 modeli, 16-oktabrda chiqarilgan, vLLM asosidagi umumiy freymvorkdan foydalangan. StartLux daʼvo qilishicha, vLLM va SGLang kabi dvigatellar tokenma-token hosil qilish uchun moʻljallangan, bu esa har bir soʻrovning alohida boʻlishiga va katta chiqish qatlami har bir murojaatda toʻliq hisoblanishiga olib keladi.

Prismdagi asosiy oʻzgarishlar

Prism toʻrtta asosiy oʻzgarish kiritadi. Birinchidan, u chiqish qatlamini toraytiradi. 27 milliard parametrli StartLux-Decision modeli uchun umumiy dvigatel taxminan 248 000 kandidat tokenni baholaydi, ammo qaror qabul qilish vazifasi faqat A dan Z gacha boʻlgan harflarni talab qiladi; buning tufayli Prism hisoblashlarni dastlabki hajmining taxminan 0,01 foizigacha kamaytiradi. Ikkinchidan, oʻrmon uslubidagi batch qayta ishlash metodi qoʻllaniladi: umumiy koʻrsatmalar ildizni, umumiy maʼlumotlar bazasi — tagini, va har bir savol — shoxini tashkil etadi, bu esa umumiy ishni faqat bir marta bajarish imkonini beradi.

Uchinchidan, matritsalar operatsiyalari int8 formatida va int32 akumulyatsiya bilan amalga oshiriladi, bu natijalarning batch hajmi va rejalashtirish tartibidan mustaqil boʻlishini taʼminlaydi, shu bilan birga bitga teng natijalarni saqlab qoladi. Toʻrtinchi oʻzgarish — bu siljigan rejalashtiruvchi boʻlib, u toʻgʻridan-toʻgʻri javob beradigan soʻrovlar bilan fikrlash uchun 64 tadan ortiq uzoq soʻrovlarga GPUʼni birgalikda ishlatish imkonini beradi. Shu bilan birga, dekodlash bosqichlari oldindan CUDA graflari sifatida kompilyatsiya qilinadi, bu yangi qisqa soʻrovlarning faqat bitta yoki ikkita bosqich kutishiga imkon beradi.

StartLux tomonidan bitta H200 chipida oʻtkazilgan sinovlar qisqa yakka savolning avvalgisining 53,1 millisekundiga qaraganda 19 millisekundda yakunlanganini koʻrsatdi, bu 2,8 baravar oshishdir, va uchta savol berilganda tezlik 5,3 baravar oshadi. JevBench boʻyicha 231 ta savolda sinovlarda Prism har bir savolga oʻrtacha 41 millisekundni koʻrsatdi, SGLang 75,6 millisekund, vLLM 112,7 millisekund va llama.cpp 589 millisekundni egallagan. Toʻrtta H200 karta ishlatilganda, maʼlumotlar parallelizmi rejimida sekundiga 121 ta soʻrov qayta ishlandi, shu bois tensor parallelizmi bitta savolning kechikishini 29 millisekundgacha pasaytirdi.

Yetti baholash toʻplami va 12 351 ta qaror qabul qilish namunasida, int8 kvantlash bilan Prism versiyasi oʻrtacha 92,94% aniqlikka erishdi, bu kvantlashsiz BF16 modelida koʻrsatilgan 92,97% ga juda yaqin. 16,55 GB hajmidagi siqilgan versiya 32 GB xotiraga ega bitta RTX 5090 videokartasida ishlay oladi. Taqdim etilgan barcha raqamlar StartLux ning oʻz oʻlchamlari boʻlib, sinov konfiguratsiyalari repozitoriyda eʼlon qilingan.

Xitoydagi MemTensor kompaniyasi oʻzining xotiraga yoʻnaltirilgan fundamental modellar seriyasini eʼlon qildi va uni jamoatchilikka ochiq qildi, bu MemT 1.0 deb nomlandi. Ushbu seriya ikkita modelni oʻz ichiga oladi: umumiy parametrlar soni 288 milliard boʻlgan va undan 17 milliard faol qoʻllaniladigan MemT-1.0-Flash hamda 36 milliard umumiy parametr va 3 milliard faolga ega MemT-1.0-Nano.

Bu modellar vaznlari Hugging Face platformasida mavjud, tegishli kod esa texnik hisobot bilan birga GitHubʼda joylashtirilgan.

Modellar uzoq suhbatlar bilan bogʻliq keng tarqalgan muammoni hal qilish uchun ishlab chiqilgan. Mavjud tizimlarning aksariyati butun tarixni kontekst oynasida saqlaydi, bu har bir yangi qadam bilan sekinlashish va inferens xarajatlarini oshirishga olib keladi. Buning oʻrniga, MemT modelning oʻziga oʻrganiladigan xotira modulini integratsiya qiladi.

Har bir oʻzaro aloqadan soʻng, model yangi maʼlumotni belgilangan xotira holatiga yozadi va zarur boʻlganda uni chaqiradi, har safar butun oldingi yozuvni qayta oʻqimasdan.

MemTensor kompaniyasi modellar oʻqitilishi 34 milliard token asosida ikki bosqichda oʻtganini maʼlum qiladi: avvalo, model maʼlumotni xotiraga yozishni oʻrgandi, keyin esa ushbu saqlangan maʼlumotdan foydalanib savollarga javob berishni oʻrgandi.

Ishlash natijalari va taqqoslash

Taʼkidlangan barcha ishlash koʻrsatkichlari kompaniyaning oʻz bahosiga asoslangan. MemTensor taʼkidlaydiki, toʻliq kontekst yondashuvi bilan 128 ming tokenli tarixda yakka inferens taxminan 1,86 marta tezroq ishlaydi va 256 ming tokenlarda taxminan 3,99 marta tezroq ishlaydi.

Birinchi token javob berish vaqti xotirali model uchun taxminan 104–112 millisekund, 256K uchun toʻliq kontekstda esa taxminan 445 millisekund deb baholanadi. Bundan tashqari, kompaniya 256K tarixda sessiya davomida xotira holati hajmi taxminan 40 MB ni tashkil etishini taʼkidlaydi, bu toʻliq kontekst keshiga talab qilinadigan 5,06 GB dan sezilarli darajada kamroq, yaʼni taxminan 130 barobar kamayishdir.

MemTensor 11 ta xotira benchmarklarida Flash uchun 50,6 va Nano uchun 47,0 oʻrtacha natijalarini eʼlon qiladi. Bu natijalar modellarini taqqoslanayotgan parametrik xotira usullari orasida birinchi va ikkinchi oʻringa qoʻyadi va soʻrov paytida tarixni chiqarib olishsiz ham, oʻrtacha ravishda qidiruv orqali kengaytirilgan yondashuvlarning natijalariga mos keladi.

Kompaniya shuningdek, xotirani qoʻshish Flash modelining umumiy imkoniyatlarini katta miqdordagi chalgʻituvchi omillar mavjud test sharoitida pasaytirmaganligini taʼkidlaydi.

Dasturchilar litsenziyalash shartlariga eʼtibor berishlari kerak: repozitoriyadagi kod nokommertsiya PolyForm litsenziyasi ostida joylashtirilgan, ammo modellar vaznlari mos ravishda Apache va MIT litsenziyalariga ega.

Jamoa uzoq muddatli xotirani yaxshilash, xotira sigʻimini oshirish va xotirani yangilash xarajatlarini kamaytirish yoʻnalishida yanada rivojlanishni rejalashtirmoqda, uzoq muddatli maqsad sifatida oʻzaro taʼsiri asosida doimiy oʻrganadigan agentlarni yaratishni nazarda tutmoqda.

SenseTime kompaniyasi oʻzining jismoniy AI baholash vositalari SenseNova-RoboRSI va 27 milliard parametrli modelni ommaga taqdim etdi. Ushbu nashr SenseTime tomonidan yigirma ikkita simulyatsiya qilingan benchmark va sakkizta haqiqiy robotda katta GPT-6-Astra modelini sinovdan oʻtkazgan tadqiqotdan soʻng amalga oshirildi. Taqdim etilgan barcha natijalar SenseTime ning oʻz testlariga asoslangan.

SenseTime SenseNova-RoboRSI ni jismoniy AI tizimlarini baholash uchun freymvork sifatida, shuningdek, SenseNova-RoboRSI-27B-Preview nomli jismoniy AI modeli sifatida taqdim etdi. Tadqiqot doirasida katta GPT-6-Astra modeli 12 ta simulyatsiya qilingan robototexnika benchmarklari va 8 ta fizik robotda tekshirildi.

GPT-6-Astra sinov natijalari

SenseTime maʼlumotlariga koʻra, GPT-6-Astra demonstratsiya oʻquviga kirish va qadam cheklovlari oʻn barobar rasmiy qiymatgacha oshirilganda, model LIBERO va SIMPLE benchmarklarida toʻyinganlikka erishdi va RoboDojo da 81,9% muvaffaqiyat darajasini koʻrsatdi. Bir holatda, avval beshta urinishdan hech qachon muvaffaqiyatga erishmagan RoboDojo ning toʻqqiztasi vazifalari, modelga oʻzaro aloqani davom ettirishga ruxsat berilgandan soʻng, barcha beshta urinishda muvaffaqiyatli bajarildi.

Biroq, bu yuqori narxga ega edi. Kengaytirilgan byudjetli testlarda, idishlarni joylashtirish taxminan 131 daqiqa va chiqarish uchun taxminan 19 dollar xarajat bilan baholandi, shu bois tutqichni uskunaga joylashtirish 263 daqiqa va taxminan 55 dollar turdi. SenseTime shuningdek, GPT-6-Astra ning uzoq muddatli vazifalarni bajarishda eng katta qiyinchiliklarga ega ekanligini, vazifalar oʻrtasida koʻnikmalarni oʻtkazishda muammolar borligini, shuningdek, haqiqiy robotlarda deformatsiyalangan obʼektlar va nozik boshqaruv bilan bogʻliq qiyinchiliklarga ega ekanligini aniqladi.

Keyin kompaniya sekin fikrlash modelini tez harakat modeli bilan birlashtirdi. Bunday kombinatsiyalarning eng yaxshisi, har bir natijani tekshiradigan yopiq siklga ega 42 ta RoboDojo vazifasida 54% muvaffaqiyatga erishdi, garchi SenseTime muammo hali ham dolzarb ekanligini taʼkidlasa.

Ochiq kodli vositalar har bir benchmark va uning bogʻliqliklarini alohida Docker tasviriga paketlaydi va muhit bilan ishlash va tabiiy baholash uchun birlashtirilgan HTTP API ni taqdim etadi. SenseTime tadqiqotchilarning har bir simulyatorni qoʻlda sozlash zarurati boʻlmagan holda, konfiguratsiya faylini ishlatib, toʻliq baholashni amalga oshirishi mumkinligini taʼkidlaydi.

27B modelining xususiyatlari

27 milliard parametrli model tasdiqlangan tajribani bevosita model ogʻirliklariga kiritish uchun moʻljallangan, bu sinov va xato harakatlari zaruriyatini kamaytiradi. SenseTime bu model RoboDojo da 26,13 ball olganini, vazifa muvaffaqiyati darajasi 20,83% ekanligini, LIBERO-Pro da 90 koʻrsatkichidan oshib ketganini va RoboCasa365 dagi muvaffaqiyat foizini 26,0% dan 46,5% gacha oshirganini, shu bilan birga tokenlardan foydalanishni 73% ga qisqartirganini maʼlum qiladi. Kompaniya u GPT-6-Astra ga nisbatan jismoniy AI vazifalarini oʻn besh marta arzonroq bajarishini taʼkidlaydi.

Bundan tashqari, SenseTime kelajakdagi jismoniy AI benchmarklari insonning haqiqiy ehtiyojlariga asoslanishi, robotlardan oʻzaro aloqa orqali oʻqitilishni talab qilishi va fikrlash vaqtini global vaqt sifatida hisobga olishi kerakligini taʼkidlaydi, chunki model yechimni oʻylayotgan vaqtda choynak qizib boradi. Taqdim etilgan natijalarning hech biri mustaqil ravishda tasdiqlanmadi.