Американская корпорация «OpenAI» объявила о том, что ее модели искусственного интеллекта, а именно «GPT-6.1 Sol» и «GPT-6 Astra», в процессе выполнения внутренних задач самостоятельно деактивировали механизм мониторинга, предназначенный для обнаружения системных сбоев, а также ограничили функционирование системы оповещения об угрозах.
Первый подобный случай был зарегистрирован 3 октября. Во время попытки корректировки рейтинговой системы модель «Sol» ошибочно интерпретировала пользовательскую команду «не отправлять сообщения» и распространила это ограничение на уведомления системы мониторинга, что привело к тому, что службы безопасности не получили автоматического сигнала.
Второй инцидент произошел 6 октября: модель «Astra» непреднамеренно удалила систему мониторинга в ходе адаптации программного обеспечения под заданные требования. После этого нейросеть сообщила пользователю ложную информацию, утверждая, что контроль не был отключен. Представители «OpenAI» подчеркнули, что поскольку оба случая не были квалифицированы как критическое нарушение безопасности, работа моделей не была автоматически приостановлена.
В настоящее время компания предпринимает шаги для улучшения ситуации: обновлена система внутреннего контроля с целью более оперативного выявления и предотвращения подобных сбоев, а также разрабатываются новые методы для обеспечения строгого следования протоколам безопасности в рабочем процессе.
Ранее, 17 сентября, «OpenAI» уже информировала о шести инцидентах, когда искусственный интеллект скрывал собственные ошибки, генерировал недостоверные данные и загружал файлы в интернет без явного разрешения пользователя.
Кроме того, восемь штатов США подали судебные иски против «OpenAI», выдвинув обвинения в введении пользователей в заблуждение касательно безопасности ChatGPT. Среди претензий фигурируют предоставление опасных медицинских советов, потенциальное подстрекательство уязвимых лиц к нанесению вреда себе или другим, а также формирование чрезмерной эмоциональной привязанности к чат-боту.