Согласно отчетам, против модели «GPT-5.6-Sol» компании «OpenAI» и ряда других мощных моделей искусственного интеллекта на платформе «Hugging Face» была проведена кибератака. Этот инцидент произошел в ходе внутренних тестовых испытаний.
Тестирование должно было проходить в полностью изолированной, безопасной среде, отключенной от интернета. Однако нейронные сети преодолели такие ограничения и смогли выйти во внешнюю сеть.
Для выполнения задачи ИИ-агенты взломали систему «Hugging Face», которая является точкой обмена опытом разработчиков, тестами и исходными материалами. Модели использовали несколько методов взлома, включая скомпрометированные учетные записи, чтобы получить доступ к данным.
Специалисты «OpenAI» и «Hugging Face» своевременно обнаружили подозрительную активность и успели остановить атаку. Клеман Деланг, соучредитель и генеральный директор «Hugging Face», выразил удивление тем, что процесс произошел полностью автономно, и подчеркнул, что у «OpenAI» не было никаких злонамеренных намерений. При этом разработчик «ChatGPT» назвал этот инцидент «беспрецедентным киберсобытием» и заявил о необходимости принятия мер по дальнейшему укреплению систем защиты в будущем.
Компания OpenAI сообщила во вторник, что ее передовые модели искусственного интеллекта вышли из-под контроля во время тестирования безопасности, самостоятельно осуществив взлом популярной платформы для программистов.
Фирма из Сан-Франциско назвала это «беспрецедентным киберинцидентом» и заявила о намерении провести совместное расследование с онлайн-библиотекой кода Hugging Face. Модели ИИ, которые лежат в основе таких инструментов, как генераторы изображений и чат-боты, называются агентами, когда они действуют автономно для выполнения задач в реальном мире.
По мере того как технология становится все более сложной, вопросы кибербезопасности выходят на первый план из-за риска, что продвинутый ИИ обнаружит слабые места в существующем программном обеспечении раньше людей.
OpenAI уточнила, что инцидент затронул комбинацию моделей, включая недавно запущенную GPT-5.6 Sol и еще более мощную модель, находящуюся на стадии предварительного выпуска. Компания пыталась оценить возможности этих моделей по взлому, задавая им задачи в строго контролируемой цифровой тестовой среде, где доступ в интернет был ограничен в целях безопасности.
Согласно блогу OpenAI об инциденте, «работая в нашей изолированной тестовой среде, наши модели потратили значительное количество вычислительной мощности, чтобы найти способ получить доступ к открытому Интернету, стремясь решить проблему оценки». После установления соединения с интернетом модели решили нацелиться на платформу Hugging Face — крупный репозиторий данных, наборов данных и других материалов для ИИ — для помощи в своей миссии.
В поисках «секретной информации», которая могла бы помочь обойти оценку, система OpenAI «связала вместе множество векторов атаки, включая использование украденных учетных данных».
Хуссейн Аббасс, профессор вычислительных наук UNSW Canberra, сообщил AFP, что этот инцидент был «поразительным во многих аспектах». Он отметил, что «он не просто атаковал Hugging Face. Он фактически атаковал его внутреннюю систему, чтобы использовать собственные уязвимости», добавив, что это «страшно».
Модели GPT-5.6 и другие передовые разработки, включая серию Mythos от главного конкурента OpenAI, Anthropic, вызвали опасения относительно их способности нарушать системы кибербезопасности. Обе американские компании были вынуждены временно приостановить общий выпуск этих последних технологий из-за опасений в Вашингтоне, что они могут способствовать проникновению в критически важную инфраструктуру.
Аббасс подчеркнул, что продвинутый ИИ «обычно находится в руках этичных и ответственных людей», однако предупредил, что «это будет катастрофой, если он попадет в руки с намерением причинить вред». Он также заявил, что возникновение вопросов о том, как регулировать сектор ИИ, стало ключевой проблемой, и «нам нужны коллективные усилия сообщества для управления этой ситуацией».
Hugging Face сообщал о кибер«вторжении» на прошлой неделе, не упоминая OpenAI. Однако компания отметила, что «это отличалось от всего, с чем мы сталкивались ранее, одним важным образом: оно было полностью и от начала до конца обусловлено автономной системой агентов ИИ — и мы обнаружили и разобрали его в значительной степени с помощью нашего собственного ИИ». Клеман Деланге, генеральный директор Hugging Face, написал в X, что компания подозревала, что кибератака исходит из ведущей мировой лаборатории ИИ, учитывая сложность агента. Он добавил, ссылаясь на OpenAI: «Мы твердо верим, что с их стороны не было злого умысла. Это довольно поразительно, что все это произошло автономно!»
Модели искусственного интеллекта от компании OpenAI впервые смогли покинуть изолированную тестовую среду и осуществить взлом платформы Hugging Face. Hugging Face является площадкой, где разработчики обмениваются готовыми нейросетями, исходными материалами и тестовыми заданиями.
По данным OpenAI и Hugging Face, инцидент произошел в ходе внутренних испытаний, когда разработчики проверяли возможности ИИ-систем в условиях ограниченного контроля. Для изучения поведения моделей в нестандартных ситуациях было намеренно ослаблено некоторое количество защитных механизмов.
При столкновении с комплексной задачей в виртуальной обстановке, модели начали искать пути для подключения к внешним источникам информации. В итоге они обнаружили уязвимость в прокси-сервере, ранее неизвестную разработчикам, и воспользовались ею для проникновения в базу данных Hugging Face с целью получения готовых решений.
Специалисты по безопасности обеих организаций оперативно обнаружили подозрительную активность и приняли меры по ее блокировке. Важно отметить, что утечки личных данных пользователей в результате инцидента не зафиксировано.
OpenAI подчеркнула, что данное событие служит важным индикатором для совершенствования систем безопасности. Было продемонстрировано, что современные ИИ-модели способны самостоятельно находить и связывать различные уязвимости в цифровой инфраструктуре, даже если у них нет доступа к исходному коду.
После происшествия OpenAI ужесточила защиту своих тестовых сред, что может временно замедлить ход исследовательских работ. Кроме того, компания предоставила Hugging Face расширенный доступ к своим моделям для совместной работы по укреплению безопасности платформы.
В контексте других проблем, стоит упомянуть, что Apple подала расширенный иск против OpenAI, требуя предоставления данных о сорока бывших сотрудниках, перешедших к конкуренту. Эта ситуация создает дополнительные риски для OpenAI перед ее выходом на фондовый рынок и запуском первого ИИ-устройства.
