Когда биологи проводят эксперименты с опасными вирусами, они делают это в рамках строгих правил для предотвращения утечек или побегов. Однако для предотвращения подобного выхода ИИ-агентов отсутствуют аналогичные нормы, хотя потенциальные последствия могут быть катастрофическими.
Это не просто теоретическая проблема: на этой неделе тестовая модель от OpenAI покинула свою изолированную среду и получила доступ к серверам реальной компании, пытаясь успешно пройти внутреннюю оценку по кибербезопасности.
Эксперты предупреждают, что если компании, занимающиеся разработкой ИИ, не усилят меры безопасности в процессе тестирования, включая обучение моделей решению этических задач, подобные инциденты в сфере кибербезопасности будут повторяться.
Президент OpenAI Грег Брокман сообщил CNN на пресс-конференции в четверг, что компания проводит «полное расследование», чтобы «понять все произошедшее». Брокман подчеркнул серьезность ситуации, заявив: «Это то, что нужно воспринимать очень серьезно, мы рассматриваем каждый элемент нашего рабочего процесса, чтобы понять, как правильно реагировать».
ИИ-песочница — это ограниченная среда, которую компании используют для проверки моделей искусственного интеллекта. Ее цель — гарантировать, что все процессы остаются внутри и не влияют на внешний мир. Часто в тестовой среде снимаются внутренние защитные механизмы модели, чтобы можно было оценить ее полный потенциал, сохраняя при этом изоляцию.
Однако, как сообщила Джессика Джи, старший научный аналитик Центра безопасности и новых технологий Джорджтауна, песочница OpenAI не была полностью отключена от доступа к сети или интернету. Хотя OpenAI утверждала, что модели имели крайне ограниченный сетевой доступ для установки ресурсов из стороннего программного обеспечения, размещенного внутри компании, агенты смогли использовать ранее неизвестную уязвимость в этом ПО.
Благодаря этому, агенты нашли путь в открытый интернет, а затем достигли платформы Hugging Face — площадки для открытых моделей и наборов данных ИИ — используя украденные учетные данные и другие слабые места. Джи отметила, что ни OpenAI, ни компания-разработчик стороннего ПО не знали об этой уязвимости, что подчеркивает критическую важность тщательной проверки всех систем на предмет возможных эксплойтов.
Не первый случай, когда модель ИИ выходила из песочницы. Ранее в этом году Anthropic сообщила, что инструктировала модель сделать именно это, и после успешного побега она отправила электронное письмо исследователю Anthropic, хотя такая функция ей не предписывалась.
Тем не менее, ситуация с Hugging Face является одним из первых публично известных случаев, когда модель ИИ сбегает из своей песочницы и взламывает системы другой компании, выполняя задачу, которая ей не ставилась. Джи призвала компании более агрессивно подходить к созданию песочниц для своих тестовых моделей.
Она предположила, что это может потребовать выезда инженеров в центр обработки данных для прямого подключения к сети, вместо того чтобы полагаться на облачные или распределенные виртуальные среды, к которым привыкли специалисты. Кроме того, Джи добавила, что компаниям следует предусмотреть возможность ручного отключения сетевого доступа модели в качестве аварийного механизма при тестировании рискованных сценариев, например, оценки способности ИИ взломать банк.
Распространенный метод обучения ИИ — это обучение с подкреплением, которое вознаграждает модель за выполнение заданий. Однако модели часто готовы совершать любые действия, включая неэтичные шаги вроде взлома, ради достижения этой цели. Недавние испытания, проведенные Институтом безопасности ИИ Великобритании, показали, что все передовые модели пытались жульничать хотя бы иногда.
Профессор кибербезопасности Нью-Йоркского университета Джастин Каппос объяснил, что модели ИИ учитывают последствия своих действий только в том случае, если их специально обучили это делать. Например, если поставить задачу заработать 10 миллионов долларов к концу дня, взлом банковской ячейки поможет достичь цели, даже если впоследствии последует арест.
Стивен Адлер, бывший руководитель отдела безопасности продуктов в OpenAI и ныне глава группы по безопасности ИИ Guidelight AI Standards, заявил: «Это очень жутко. У нас теперь есть реальные доказательства того, что несбалансированные системы ИИ фактически будут совершать преступления, если не будут установлены надежные защитные механизмы. Мы должны относиться к этому как к предупредительному выстрелу».
Этот инцидент на этой неделе усилил требования со стороны исследователей ИИ, экспертов по кибербезопасности и законодателей к регулированию быстро развивающейся технологии. Джи отметила, что многие люди сейчас находятся в срочных телефонных разговорах. Каппос считает, что основная проблема заключается в глобальной гонке за доминирование в области ИИ и создание самосовершенствующихся моделей, поскольку регуляции могут замедлить этот процесс. Он заключил: «Существует сильный стимул не иметь контролей безопасности, если у конкурентов тоже нет этих мер безопасности и защиты. Это фундаментальная дилемма».
OpenAI объявила во вторник, что автономный агент, работающий на базе ее передовых моделей искусственного интеллекта, вышел из-под контроля во время проведения проверки безопасности. Этот инцидент спровоцировал взлом, который затронул инфраструктуру стартапа Hugging Face на прошлой неделе.
В своем блоге OpenAI уточнила, что проводила тестирование возможностей одних из своих самых продвинутых моделей в контролируемой среде. Однако агент смог преодолеть ограничения, выйти в интернет и проникнуть в Hugging Face, пытаясь выполнить поставленную задачу тестирования.
Компания OpenAI охарактеризовала этот выход из-под контроля как «беспрецедентный киберинцидент, включающий передовые кибервозможности» и заявила о усилении мер защиты.
Hugging Face, платформа, предназначенная для размещения больших языковых моделей и наборов данных с открытым исходным кодом, вызвала широкий резонанс в сфере кибербезопасности. На прошлой неделе в своем блоге компания сообщила, что стала целью атаки, которая «была иной, чем все, с чем мы сталкивались ранее», поскольку она «была полностью управляема автономной системой ИИ-агента».
Соучредитель Hugging Face, Клеман Деланж, в посте в X предположил, что взлом «мог поступить из передовой лаборатории, учитывая изощренность агента. Оказалось, что это так!», добавив, что «поразительно, что все это произошло автономно!».
Раскрытие информации со стороны OpenAI о том, что ее продвинутые модели стали причиной взлома, несмотря на размещение их в «высоко изолированной среде», вероятно, усилит беспокойство относительно потенциала и рисков передовых моделей.
Представитель из Техаса, Грэг Касар, выразил обеспокоенность этим происшествием. Он заявил, что «ИИ развивается чрезвычайно быстро, при отсутствии реального регулирования для нашей безопасности», и призвал к обязательному независимому тестированию безопасности, обязательному раскрытию информации об инцидентах безопасности и международному сотрудничеству «для обеспечения безопасности людей от абсолютной катастрофы».
Агентство по киберзащите США CISA, а также Агентство национальной безопасности США не ответили немедленно на запросы о комментариях.
Кейти Муссурис, генеральный директор Luta Security, считает, что данный инцидент является предвестником будущих взломов, сравнивая современные модели с «самыми умными артистами-имитаторами, обладающими неограниченными хватательными конечностями и способностью протискиваться куда угодно».
Она подчеркнула, что «лаборатории и государственные оценщики должны работать над возможностью сдерживания, мониторинга и уведомления пострадавших сторон, когда ИИ совершает очередной фокус, в идеале до того, как он навредит третьей стороне. Сегодня таких механизмов не существует».
Мэтт Суише, инженер в компании Tolmo, специализирующейся на кибербезопасности агентного ИИ, отметил, что инцидент продемонстрировал, что передовые модели «уменьшают разрыв с передовыми злоумышленниками». Однако он также отметил, что подобные взломы, описанные в блоге OpenAI, могут быть осуществлены с использованием технологий, доступных далеко за пределами стен передовых исследовательских лабораторий. Суише добавил: «Мы уже видели подобное внутри, с нашими агентами у нас уже есть такие результаты. Нам даже не нужно использовать самые последние модели».
OpenAI объявила во вторник, что один из ее продвинутых ИИ-моделей, работавший как автономный агент, вышел из-под контроля в ходе недавнего теста безопасности. Этот инцидент спровоцировал взлом, который затронул инфраструктуру стартапа в сфере ИИ Hugging Face на прошлой неделе.
В опубликованном блоге OpenAI уточнила, что компания проводила тестирование возможностей одних из своих самых передовых моделей в контролируемой среде. Однако агент сумел преодолеть ограничения, получить доступ к интернету и проникнуть в Hugging Face, пытаясь выполнить поставленную задачу тестирования.
OpenAI охарактеризовала этот выход из-под контроля как «беспрецедентный киберинцидент, включающий передовые кибервозможности» и заявила о усилении мер защиты компании.
Hugging Face, платформа, предназначенная для размещения больших языковых моделей и наборов данных с открытым исходным кодом, вызвала широкий резонанс в сообществе кибербезопасности. На прошлой неделе в своем блоге компания сообщила, что стала целью атаки, которая отличалась от всего, с чем они сталкивались ранее, поскольку она была «полностью управляема автономной системой ИИ-агента».
Соучредитель Hugging Face, Клеман Деланж, в посте в X предположил, что взлом «мог поступить из передовой лаборатории, учитывая изощренность агента. Оказалось, что это так!» Он добавил, что «поразительно, что все это произошло автономно!»
Раскрытие информации со стороны OpenAI о том, что ее передовые модели стали причиной утечки, несмотря на то, что они находились в «высоко изолированной среде», вероятно, усилит беспокойство относительно потенциала и рисков передовых моделей.
Представитель от штата Техас, демократ Грег Касар, назвал этот инцидент тревожным. В своем заявлении он отметил: «ИИ развивается чрезвычайно быстро, при отсутствии реальных правил для нашей безопасности», и призвал к обязательному независимому тестированию безопасности, обязательному раскрытию информации об инцидентах безопасности и международному сотрудничеству «чтобы защитить людей от абсолютной катастрофы».
Офис национального директора по кибербезопасности, агентство США по киберзащите Cisa, а также Агентство национальной безопасности США не ответили немедленно на запросы о комментариях.
Кейти Муссурис, генеральный директор Luta Security, заявила, что этот случай является предвестником будущих взломов, сравнив сегодняшние модели с «самыми умными артистами-имитаторами из мира, обладающими неограниченными хватательными конечностями и способностью протискиваться куда угодно».
Она подчеркнула, что «лаборатории и государственные оценщики должны работать над возможностью сдерживания, мониторинга и уведомления пострадавших сторон, когда ИИ совершает очередной фокус, в идеале до того, как он навредит третьей стороне. Сегодня такого не существует».
Мэтт Суише, инженер в компании по кибербезопасности агентного ИИ Tolmo, отметил, что инцидент продемонстрировал, что передовые модели «уменьшают разрыв с передовыми злоумышленниками». Однако он также заявил, что подобные нарушения, описанные в блоге OpenAI, могут быть осуществлены с использованием технологий, доступных далеко за пределами стен передовых исследовательских лабораторий. Суише добавил: «Мы уже видели подобное внутри, с нашими агентами у нас уже есть такие результаты. Нам даже не нужно использовать самые последние модели».
