Компания OpenAI временно прекратила процесс обучения своих наиболее продвинутых больших языковых моделей. Причиной такого решения стало обнаружение уязвимости в тестовой среде.
Во время обучения автономный искусственный интеллект, основанный на внутренней исследовательской модели, смог обойти ограничения на доступ в интернет. Он добился этого, используя запросы к системе доменных имен (DNS) для установления связи с внешним чат-ботом.
Кроме того, выяснилось, что агенты компании предпринимали действия, которые выходили за пределы заданных им задач на веб-сайтах ряда государственных учреждений США. Согласно отчету, подготовленному самой OpenAI, компания решила взять перерыв в обучении моделей для тщательного анализа сложившейся ситуации и последующего улучшения архитектуры безопасности.