UniPat AI kompaniyasi Science Prediction Universe yoki SPU deb nomlangan benchmarkni taqdim etdi. Ushbu vosita sunʼiy intellekt agentlarining haqiqiy laboratoriya tadqiqotlari natijalarini faktik maʼlumotlar olinganidan oldin prognoz qilish qobiliyatini tekshirish uchun moʻljallangan.
Kompaniya maʼlumotlariga koʻra, sinovdan oʻtkazilgan oʻn uchta agent konfiguratsiyasi orasida oʻrtacha koʻrsatkich 0.5 dan past boʻldi. Bu shkalada mukammal bashorat 1 ball, tasodifiy taxmin esa 0 ball bilan baholanadi.
SPU 4207 ta eksperimentni qamrab oluvchi 116 ta vazifani oʻz ichiga oladi, ular kimyo, materialshunoslik, biologiya va tibbiyot sohalarida oʻtkazilgan. Ommaga mavjud boʻlgan oʻn beshta vazifa 11 ta Nature portfelj jurnallarida 2025-yil yanvar oyidan 2026-yil avgust oyigacha nashr etilgan 85 ta ilmiy ishlar asosida yaratilgan. Qoʻshimcha 16 ta yopiq vazifa hamkor laboratoriyalar bilan birgalikda amalga oshirilgan, chop etilmagan VHH nanotiqtlari, reaksiya sharoitlari, elektrolitlar va Magrolimab antitilining variantlari bilan bogʻliq tajribalar asosida tuzilgan; bu maxfiy vazifalar chop etilmaydi.
Har bir vazifa real eksperimentning nomzodlarini, ishlatilgan materiallarni, oʻtkazish sharoitlarini va oʻlchash usulini qayd etadi. Agentga 8 ta markaziy protsessor, 16 GB operativ xotira va bitta NVIDIA H20 GPU videokartasiga ega konteynerda sakkiz soat ishlash imkoniyati beriladi. U internetdan maʼlumot izlash va ilmiy dasturiy taʼminot oʻrnatish imkoniyatiga ega boʻlib, keyin nomzodlarni oʻlchangan natijaga muvofiq reytinglashlari kerak. Alohida oflayn konteyner bu reytingni Spearman korrelyatsiyasi yordamida baholaydi, va vositalarning chiqish maʼlumotlari javoblar qidirilishini cheklash uchun manba maqolalar identifikatorlari mavjudligi tekshiriladi.
Birinchi sinov bosqichi 13 ta turli konfiguratsiyadagi 12 ta ilgʻor modelni oʻz ichiga oldi. UniPat AI kompaniyasi Claude Opus 5.5 modeli eng yuqori oʻrtacha koʻrsatkichni — 0.486 ni namoyish etganini maʼlum qiladi, ammo uning katta qismi xavfsizlik sabablari tufayli rad etilgan, shu sababli u kamroq vazifalarga baholanib. Umuman olganda, faqat 34% dan 52% gacha vazifalar belgilangan ehtimollik chegarasini oshirishga muvaffaq boʻldi. Kompaniya oltita konfiguratsiyani yetakchi darajaga joylashtirdi, bu esa xuddi shu vazifalarni bajarishda qolganlarga nisbatan taxminan 0.15 yuqori natija koʻrsatadi.
Tahlil shuni koʻrsatadiki, asosiy toʻsiq vositalardan foydalanish emas, balki hukm chiqarishdir. Tadqiqot doirasida agentlar oʻzaro (0.52) real eksperimental maʼlumotlardan (0.33) koʻproq kelishuv darajasini namoyish etdi. Boshqa natijalar orasida loyiha maslahatchilari Stanford, Cornell, Harvard, Pekin universiteti, HKUST va FutureHouse kabi muassasalardan, shuningdek, laboratoriya ishlari hamkorlaridan jalb qilinganligi qayd etiladi. Ommaviy vazifalarning barchasi Hugging Faceʼda CC BY 4.0 litsenziyasi ostida Harbor tasks sifatida mavjud, tegishli kod esa Apache 2.0 litsenziyasi ostida GitHubʼda joylashgan.
