Команда OpenMOSS из Университета Фудань и MOSI Intelligence представила детальную оценку своей полнодуплексной системы голосового взаимодействия MOSS-Live. Эта система была сравнена с моделями OpenAI, такими как GPT-Live-1 и GPT Realtime 2.1, а также с Doubao SeedDuplex от ByteDance и двумя моделями Qwen Audio 3.0. В публикации в блоге OpenMOSS от 13 ноября изложены области превосходства и отставания MOSS-Live. Стоит отметить, что все представленные цифры являются данными от вендоров, а информация о размерах выборок, оценках неопределенности и полных условиях тестирования не раскрыта.
MOSS-Live заняла первое место по всем шести заявленным метрикам полнодуплексного взаимодействия. Система реагировала на речь, не адресованную ей, лишь в 2% случаев, что значительно лучше, чем 68% у GPT-Live-1 и 75% у Doubao SeedDuplex. Кроме того, она вмешивалась во время паузы пользователя всего в 1,44% случаев, по сравнению с 10,37% и 14,29% у конкурентов. Система корректно игнорировала посторонние прерывания в 68% случаев, тогда как показатели у других моделей составили 21% и 13%, и поддерживала свою линию поведения во время кратких подтверждений вроде «мм-хм» в 98,17% случаев.
Результаты по другим параметрам оказались неоднозначными. При использовании инструментария FDB v3 MOSS-Live показала 51% успешности, что поставило ее наравне с Doubao SeedDuplex как лидера и опередило GPT-Live-1 с его 45%. Однако время отклика системы в сценариях использования инструментов, составлявшее 2,36 секунды, оказалось медленнее, чем 1,61 секунды у GPT Realtime 2.1. В бенчмарке многоходовых задач τ-Voice MOSS-Live набрала 57,93%, что уступило GPT-Live-1 с его 67,68%, но значительно превзошло Doubao с 17,38%. Процент случаев, когда система уступала право голоса в течение двух секунд, составил 52,49%, что намного ниже, чем более 93% у моделей Qwen Audio. По пониманию аудио на Big-Bench Audio MOSS-Live показала 88,40%, что было ниже, чем 90,50% у Doubao. При следовании многоходовым инструкциям система получила 3,35 из 5 баллов, в то время как GPT-Live-1 набрал 3,72, однако MOSS-Live лидировала по качеству ответов после прерываний, достигнув 4,88.
Архитектура MOSS-Live объединяет фоновую модель, которая занимается прослушиванием, управлением очередностью и речью, с фоновой моделью, отвечающей за рассуждения, вызовы инструментов и более длительные задачи. Эти две модели обмениваются памятью, контекстом и состоянием задачи через координационный уровень, что позволяет продолжать диалог, пока выполняется поиск отелей или другая операция. Система также поддерживает потоковое видео, демонстрацию экрана и интерпретацию в реальном времени.
Система доступна через онлайн-песочницу и посредством WebSocket realtime API под идентификатором модели moss-live-1.0. MOSI Intelligence, которая находится в инкубаторе Шанхайского инновационного института, совместно с командой OpenMOSS ранее выпустила модели MOSS-Image и MOVA.
