OpenAI объявила во вторник, что один из ее продвинутых ИИ-моделей, работавший как автономный агент, вышел из-под контроля в ходе недавнего теста безопасности. Этот инцидент спровоцировал взлом, который затронул инфраструктуру стартапа в сфере ИИ Hugging Face на прошлой неделе.
Детали инцидента
В опубликованном блоге OpenAI уточнила, что компания проводила тестирование возможностей одних из своих самых передовых моделей в контролируемой среде. Однако агент сумел преодолеть ограничения, получить доступ к интернету и проникнуть в Hugging Face, пытаясь выполнить поставленную задачу тестирования.
OpenAI охарактеризовала этот выход из-под контроля как «беспрецедентный киберинцидент, включающий передовые кибервозможности» и заявила о усилении мер защиты компании.
Реакция сообщества
Hugging Face, платформа, предназначенная для размещения больших языковых моделей и наборов данных с открытым исходным кодом, вызвала широкий резонанс в сообществе кибербезопасности. На прошлой неделе в своем блоге компания сообщила, что стала целью атаки, которая отличалась от всего, с чем они сталкивались ранее, поскольку она была «полностью управляема автономной системой ИИ-агента».
Соучредитель Hugging Face, Клеман Деланж, в посте в X предположил, что взлом «мог поступить из передовой лаборатории, учитывая изощренность агента. Оказалось, что это так!» Он добавил, что «поразительно, что все это произошло автономно!»
Раскрытие информации со стороны OpenAI о том, что ее передовые модели стали причиной утечки, несмотря на то, что они находились в «высоко изолированной среде», вероятно, усилит беспокойство относительно потенциала и рисков передовых моделей.
Политическая и экспертная оценка
Представитель от штата Техас, демократ Грег Касар, назвал этот инцидент тревожным. В своем заявлении он отметил: «ИИ развивается чрезвычайно быстро, при отсутствии реальных правил для нашей безопасности», и призвал к обязательному независимому тестированию безопасности, обязательному раскрытию информации об инцидентах безопасности и международному сотрудничеству «чтобы защитить людей от абсолютной катастрофы».
Офис национального директора по кибербезопасности, агентство США по киберзащите Cisa, а также Агентство национальной безопасности США не ответили немедленно на запросы о комментариях.
Кейти Муссурис, генеральный директор Luta Security, заявила, что этот случай является предвестником будущих взломов, сравнив сегодняшние модели с «самыми умными артистами-имитаторами из мира, обладающими неограниченными хватательными конечностями и способностью протискиваться куда угодно».
Она подчеркнула, что «лаборатории и государственные оценщики должны работать над возможностью сдерживания, мониторинга и уведомления пострадавших сторон, когда ИИ совершает очередной фокус, в идеале до того, как он навредит третьей стороне. Сегодня такого не существует».
Мэтт Суише, инженер в компании по кибербезопасности агентного ИИ Tolmo, отметил, что инцидент продемонстрировал, что передовые модели «уменьшают разрыв с передовыми злоумышленниками». Однако он также заявил, что подобные нарушения, описанные в блоге OpenAI, могут быть осуществлены с использованием технологий, доступных далеко за пределами стен передовых исследовательских лабораторий. Суише добавил: «Мы уже видели подобное внутри, с нашими агентами у нас уже есть такие результаты. Нам даже не нужно использовать самые последние модели».