A equipe OpenMOSS da Universidade Fudan e da MOSI Intelligence apresentou uma avaliação detalhada de seu sistema de interação de voz full-duplex MOSS-Live. Este sistema foi comparado com modelos da OpenAI, como GPT-Live-1 e GPT Realtime 2.1, bem como com o Doubao SeedDuplex da ByteDance e dois modelos Qwen Audio 3.0. A publicação no blog da OpenMOSS, datada de 13 de novembro, descreve as áreas de superioridade e deficiência do MOSS-Live. Vale notar que todos os números apresentados são dados dos fornecedores, e informações sobre tamanhos das amostras, avaliações de incerteza e condições completas de teste não foram divulgadas.
O MOSS-Live obteve o primeiro lugar em todas as seis métricas declaradas de interação full-duplex. O sistema reagiu à fala não direcionada a ele apenas em 2% dos casos, o que é significativamente melhor do que os 68% do GPT-Live-1 e 75% do Doubao SeedDuplex. Além disso, ele interveio durante pausas do usuário em apenas 1,44% dos casos, em comparação com 10,37% e 14,29% dos concorrentes. O sistema ignorou corretamente interrupções externas em 68% dos casos, enquanto os indicadores de outros modelos foram de 21% e 13%, e manteve sua linha de comportamento durante breves confirmações como 'hm-hmm' em 98,17% dos casos.
Os resultados em outros parâmetros foram inconclusivos. Ao usar a ferramenta FDB v3, o MOSS-Live demonstrou 51% de sucesso, colocando-o ao lado do Doubao SeedDuplex como líder e superando o GPT-Live-1 com seus 45%. No entanto, o tempo de resposta do sistema em cenários de uso de ferramentas, que foi de 2,36 segundos, mostrou-se mais lento do que os 1,61 segundos do GPT Realtime 2.1. No benchmark de tarefas de múltiplos passos τ-Voice, o MOSS-Live alcançou 57,93%, ficando atrás do GPT-Live-1 com seus 67,68%, mas superando significativamente o Doubao com 17,38%. A porcentagem de casos em que o sistema cedeu a palavra por dois segundos foi de 52,49%, muito abaixo dos mais de 93% dos modelos Qwen Audio. Em compreensão de áudio no Big-Bench Audio, o MOSS-Live mostrou 88,40%, o que foi inferior aos 90,50% do Doubao. Ao seguir instruções de múltiplos passos, o sistema recebeu 3,35 de 5 pontos, enquanto o GPT-Live-1 obteve 3,72, mas o MOSS-Live liderou em qualidade de respostas após interrupções, atingindo 4,88.
A arquitetura do MOSS-Live combina um modelo de fundo, que cuida da escuta, gerenciamento de fila e fala, com um modelo de fundo responsável pelo raciocínio, chamadas de ferramentas e tarefas mais longas. Esses dois modelos trocam memória, contexto e estado da tarefa através de um nível de coordenação, permitindo a continuação do diálogo enquanto uma busca por hotéis ou outra operação está sendo executada. O sistema também suporta vídeo em streaming, compartilhamento de tela e interpretação em tempo real.
O sistema está disponível através de um sandbox online e via API WebSocket realtime sob o identificador do modelo moss-live-1.0. A MOSI Intelligence, localizada no incubador do Instituto de Inovação de Xangai, juntamente com a equipe OpenMOSS, lançou anteriormente os modelos MOSS-Image e MOVA.
