फूडान विश्वविद्यालय की ओपनMOSS टीम और MOSI इंटेलिजेंस ने अपनी फुल-डुप्लेक्स वॉयस इंटरैक्शन सिस्टम MOSS-Live का विस्तृत मूल्यांकन प्रस्तुत किया। इस सिस्टम की तुलना OpenAI के मॉडलों, जैसे GPT-Live-1 और GPT Realtime 2.1, के साथ-साथ ByteDance के Doubao SeedDuplex और दो Qwen Audio 3.0 मॉडलों से की गई। 13 नवंबर के ओपनMOSS ब्लॉग पोस्ट में MOSS-Live की ताकत और कमजोर क्षेत्रों का विवरण दिया गया है। यह ध्यान रखना महत्वपूर्ण है कि प्रस्तुत सभी आंकड़े विक्रेताओं द्वारा प्रदान किए गए डेटा हैं, और सैंपल साइज़, अनिश्चितता मूल्यांकन और पूर्ण परीक्षण स्थितियों के बारे में जानकारी प्रकट नहीं की गई है।
छह घोषित फुल-डुप्लेक्स इंटरैक्शन मेट्रिक्स पर MOSS-Live ने पहला स्थान हासिल किया। सिस्टम केवल 2% मामलों में ऐसे भाषण पर प्रतिक्रिया करता था जो उसे संबोधित नहीं किया गया था, जो GPT-Live-1 के 68% और Doubao SeedDuplex के 75% की तुलना में काफी बेहतर है। इसके अलावा, यह उपयोगकर्ता के विराम के दौरान केवल 1.44% मामलों में हस्तक्षेप करता था, जबकि प्रतिस्पर्धियों में यह क्रमशः 10.37% और 14.29% था। सिस्टम ने 68% मामलों में बाहरी रुकावटों को सही ढंग से नजरअंदाज किया, जबकि अन्य मॉडलों के आंकड़े 21% और 13% थे, और इसने 'हम्म' जैसी संक्षिप्त पुष्टि के दौरान अपनी व्यवहार रेखा को 98.17% मामलों में बनाए रखा।
अन्य मापदंडों पर परिणाम मिश्रित रहे। FDB v3 टूलकिट का उपयोग करते हुए, MOSS-Live ने 51% सफलता दर दिखाई, जिसने इसे Doubao SeedDuplex के साथ अग्रणी के रूप में स्थापित किया और GPT-Live-1 के 45% से आगे निकल गया। हालांकि, टूल उपयोग परिदृश्यों में सिस्टम की प्रतिक्रिया समय 2.36 सेकंड था, जो GPT Realtime 2.1 के 1.61 सेकंड से धीमा था। बहु-चरणीय कार्यों के बेंचमार्क τ-Voice में, MOSS-Live ने 57.93% अंक प्राप्त किए, जो GPT-Live-1 के 67.68% से कम थे, लेकिन Doubao के 17.38% से काफी अधिक थे। दो सेकंड के भीतर बोलने का अधिकार छोड़ने वाले मामलों का प्रतिशत 52.49% था, जो Qwen Audio मॉडलों के 93% से काफी कम था। बिग-बेंच ऑडियो पर ऑडियो समझ में MOSS-Live ने 88.40% दिखाया, जो Doubao के 90.50% से कम था। बहु-चरणीय निर्देशों का पालन करते समय सिस्टम ने 5 में से 3.35 अंक प्राप्त किए, जबकि GPT-Live-1 ने 3.72 अंक प्राप्त किए, हालांकि MOSS-Live ने रुकावटों के बाद उत्तर की गुणवत्ता में नेतृत्व किया, जो 4.88 तक पहुंच गया।
MOSS-Live आर्किटेक्चर एक बैकग्राउंड मॉडल को जोड़ता है जो सुनने, क्यूइंग प्रबंधन और भाषण का कार्य करता है, एक बैकग्राउंड मॉडल के साथ जो तर्क, टूल कॉलिंग और लंबी अवधि के कार्यों के लिए जिम्मेदार है। ये दोनों मॉडल समन्वय स्तर के माध्यम से मेमोरी, संदर्भ और कार्य स्थिति का आदान-प्रदान करते हैं, जिससे होटल खोज या अन्य ऑपरेशन के दौरान संवाद जारी रह सकता है। सिस्टम स्ट्रीमिंग वीडियो, स्क्रीन डेमो और वास्तविक समय व्याख्या का भी समर्थन करता है।
यह सिस्टम ऑनलाइन सैंडबॉक्स और मॉडल आईडी moss-live-1.0 के तहत WebSocket realtime API के माध्यम से उपलब्ध है। MOSI इंटेलिजेंस, जो शंघाई इनोवेशन इंस्टीट्यूट के इनक्यूबेटर में स्थित है, ने ओपनMOSS टीम के साथ मिलकर पहले MOSS-Image और MOVA मॉडल जारी किए थे।
