Компания OpenAI анонсировала серию голосовых моделей под названием GPT-Live. Эти модели обладают способностью воспринимать речь пользователя и генерировать ответ в один и тот же момент, что делает голосовое взаимодействие с нейросетью гораздо более естественным. Модель теперь может вставлять свои реплики во время того, как пользователь говорит, адаптироваться к его темпу и паузам, а также корректно реагировать, если ее прерывают.
Первая реализация голосового режима ChatGPT, выпущенная в 2023 году, функционировала как последовательность из трех отдельных компонентов. Сначала голос пользователя преобразовывался в текст с помощью модели распознавания речи, затем большая языковая модель создавала текстовый ответ, который озвучивался третьей моделью. Хотя такой каскад позволял интегрировать самые продвинутые на тот момент языковые модели OpenAI в речевой интерфейс, диалог страдал от пауз и потери интонаций, что снижало его естественность.
В версии Advanced Voice, представленной в 2024 году, процесс анализа звука, его обработки и генерации голосового ответа был интегрирован в единую мультимодальную нейросеть. Это существенно сократило паузы и повысило естественность речи. Однако даже в этом режиме общение оставалось строго поочередным: модель ждала завершения фразы пользователем, прежде чем начать говорить. Это приводило к проблемам, когда фоновый шум или паузы в речи могли сбить модель, заставляя ее переходить в режим слушания или говорения, что нарушало ход коммуникации.
Новая модель GPT-Live была представлена 8 июля 2026 года и оснащена полнодуплексной архитектурой, призванной устранить проблему жесткой очередности диалога. Система больше не разбивает разговор на отдельные реплики; вместо этого, входящий аудиопоток обрабатывается моделью параллельно с формированием ее собственного ответа. Нейросеть анализирует поток многократно в секунду, принимая решения о действиях: говорить, молчать, игнорировать паузы собеседника или реагировать на прерывание своей речи. Во время прослушивания модель может использовать междометия вроде «ага» или «ясно», создавая ощущение полного внимания к пользователю.
Благодаря полнодуплексной структуре, GPT-Live способен осуществлять синхронный перевод между языками в реальном времени и лучше изолировать голос пользователя от внешнего шума. Во время беседы ChatGPT может отображать карточки с нужной информацией, такой как прогнозы погоды, биржевые курсы или спортивные результаты. Еще одна функция — возможность перенаправлять сложные запросы к более мощным языковым моделям OpenAI. Голосовая модель фокусируется на поддержании естественности беседы, а если вопрос требует глубокого анализа или поиска в интернете, система активирует основные языковые модели, при этом голосовая модель продолжает вести диалог, пока основная модель работает, а затем озвучивает результат.
Инженеры OpenAI также уделили внимание безопасности новой модели. В систему внедрены дополнительные механизмы модерации, которые непрерывно контролируют как входящий аудиопоток, так и генерируемый ответ. При выявлении потенциально опасного контента система может скорректировать направление разговора или принудительно завершить сессию. Старшая версия, GPT-Live-1, доступна для платных пользователей ChatGPT, а упрощенная версия, GPT-Live-1 mini, предназначена для бесплатных аккаунтов.
