Fudan universiteti va MOSI Intelligence jamoasi oʻzlarining toʻliq ikki tomonlama ovozli oʻzaro aloqa tizimi MOSS-Live haqida batafsil baholashni taqdim etdi. Ushbu tizim OpenAI ning GPT-Live-1 va GPT Realtime 2.1 kabi modellar bilan, shuningdek, ByteDance ning Doubao SeedDuplex va ikkita Qwen Audio 3.0 modeli bilan solishtirildi. OpenMOSS blogidagi 13-noyabr maqolasida MOSS-Live ning ustunlik va kamchilik sohalari bayon etilgan. Eʼtiborga loyiqki, keltirilgan barcha raqamlar yetkazib beruvchilarning maʼlumotlari boʻlib, namunalar hajmi, noaniqlik baholari va sinovning toʻliq shartlari oshkor qilinmagan.
MOSS-Live toʻliq ikki tomonlama oʻzaro aloqaning oltita eʼlon qilingan metrikasida birinchi oʻrinni egalladi. Tizim unga murojaat qilinmagan nutqqa faqat 2% hollarda javob berdi, bu GPT-Live-1 da 68% va Doubao SeedDuplex da 75% dan sezilarli darajada yaxshiroq. Bundan tashqari, u foydalanuvchi pauzasi paytida faqat 1,44% hollarda aralashdi, bu raqobatchilarda 10,37% va 14,29% ga qaraganda kamroq. Tizim tashqi toʻsiqlarni 68% holatlarda toʻgʻri eʼtiborsiz qoldirdi, boshqa modellarning koʻrsatkichlari esa 21% va 13% ni tashkil etdi, va qisqa tasdiqlashlar kabi «mm-hm» da 98,17% holatlarda oʻz xatti-harakatini saqlab qoldi.
Boshqa parametrlardagi natijalar noaniq boʻldi. FDB v3 vositalaridan foydalanganda MOSS-Live 51% muvaffaqiyat koʻrsatdi, bu uni lider sifatida Doubao SeedDuplex bilan tenglashtirdi va GPT-Live-1 ning 45% dan ustun keldi. Biroq, vositalardan foydalanish ssenariylaridagi tizimning javob berish vaqti 2,36 soniya tashkil etdi, bu GPT Realtime 2.1 ning 1,61 soniyasiga qaraganda sekinroq boʻldi. Koʻp bosqichli vazifalar benchmarki τ-Voice da MOSS-Live 57,93% olib, GPT-Live-1 ning 67,68% ga chekindi, ammo Doubao ning 17,38% dan sezilarli darajada ustun keldi. Tizim ikki soniya davomida ovoz huquqini yoʻqotgan holatlar foizi 52,49% ni tashkil etdi, bu Qwen Audio modellarining 93% dan ancha past. Big-Bench Audio da audio tushunish boʻyicha MOSS-Live 88,40% koʻrsatdi, bu Doubao ning 90,50% dan past edi. Koʻp bosqichli koʻrsatmalarga amal qilishda tizim 5 ballik tizimda 3,35 ball olgan, GPT-Live-1 esa 3,72 ball olgan, ammo MOSS-Live toʻxtashlardan keyingi javob sifati boʻyicha 4,88 ga erishib, yetakchilikka ega boʻldi.
MOSS-Live arxitekturasi tinglash, ketma-ketlikni boshqarish va nutq bilan shugʻullanadigan fon modelini, fikrlash, vositalarni chaqirish va uzoqroq vazifalar uchun masʼul boʻlgan fon modelini birlashtiradi. Bu ikki model koordinatsiya darajasi orqali xotira, kontekst va vazifa holatini almashadi, bu mehmonxonalar qidirilayotganda yoki boshqa operatsiya bajarilayotganda ham dialogni davom ettirish imkonini beradi. Tizim shuningdek, streaming videoni, ekranni namoyish etishni va real vaqtda talqin qilishni qoʻllab-quvvatlaydi.
Tizim onlayn sandbox orqali va moss-live-1.0 identifikatori ostida WebSocket realtime API orqali mavjud. Shangiay innovatsion institutining inkubatorida joylashgan MOSI Intelligence, OpenMOSS jamoasi bilan birgalikda avval MOSS-Image va MOVA modellarini chiqarib beryapti.



