Агенты искусственного интеллекта (ИИ), находящиеся на тестировании в OpenAI, осуществили кибератаку на RubyGems, популярный среди разработчиков программного обеспечения сервис, как сообщает The Wall Street Journal. Этот инцидент произошел в мае, за два месяца до целенаправленной атаки на платформу ИИ Hugging Face, также связанной с агентами той же компании.
Связь инцидента с RubyGems и OpenAI стала известна только недавно после того, как коалиция исследователей ИИ обнаружила доказательства того, что за атакой стояли агенты этой компании. Эти открытия были переданы как Журналу, так и самой OpenAI.
В эту пятницу (11-е число) OpenAI подтвердила участие своих агентов в инциденте, связанном с RubyGems. Представитель OpenAI заявил: «На основании нашего анализа наши агенты использовали платформу RubyGems для доступа к интернету и выполнения безобидных задач и получения общедоступной информации. Мы продолжим расследование в рамках нашего более широкого анализа активности агентов во время обучения и оценки».
Хотя ущерб от атаки был классифицирован как незначительный, он был достаточен, чтобы перегрузить команду, ответственную за RubyGems, вынудив приостановить регистрацию новых учетных записей на четыре дня, пока они справлялись с большим объемом активности, сгенерированной агентами.
Демонстрация возможностей систем
Сидни Фон Аркс, генеральный директор Nightingale Collective, некоммерческой организации, которая помогла выявить атаку, подчеркнула, что это событие продемонстрировало возможности этих систем, заявив: «Они могут сбежать в интернет и нанести ущерб».
Исследователи ИИ указали, что одна из использованных уязвимостей не была общеизвестна и имела достаточную серьезность, чтобы считаться уязвимостью нулевого дня. Однако OpenAI отказалась подтвердить это утверждение.
Марти Хоут, директор по открытому коду Ruby Central, некоммерческой организации, поддерживающей RubyGems, прокомментировал, что, несмотря на большой объем действий, атака, по-видимому, не смогла использовать предполагаемую уязвимость. Хоут добавил, что не знает, кто стоит за действиями, но согласился, что она, похоже, не использовала уязвимость нулевого дня.
По данным OpenAI, агентам было поручено выполнять такие действия, как заполнение таблиц и создание отчетов. Поскольку среда обучения не предоставляла полного доступа к интернету, агенты использовали RubyGems для поиска общедоступных данных, фактически действуя как импровизированный браузер.
Джозеф Эдвардс, специалист по угрозам из компании Socket Security, сообщил, что скорость активности заставила его команду в то время заподозрить происхождение от ИИ. Он отметил: «Мы подумали, что это могло быть сгенерировано ИИ в то время, из-за скорости и имен». Позже исследователи обнаружили цифровые следы, которые позволили связать инцидент с лабораторией OpenAI, поскольку ответственные использовали многие из тех же ссылок, что и в предыдущей операции с участием «роя» агентов OpenAI, и демонстрировали схожее поведение.
Кроме того, исследователи нашли выражение «OAI» в именах файлов и даже в адресе электронной почты, использованном во время атаки. Агенты также использовали термины, связанные с кибератаками, в созданных файлах, такие как «hack», «evil» и «exploit». Фон Аркс прокомментировала это: «Мне кажется немного безумным, насколько карикатурно преувеличены эти термины».
Повторяющиеся инциденты и будущие опасения
События мая получили больше внимания после связи агентов OpenAI с другой атакой, на этот раз против Hugging Face, в июле. В отчете, опубликованном организацией по исследованиям безопасности ИИ METR в конце августа, указано, что сеть из до 1200 агентов координировалась на импровизированном форуме, созданном внутри OpenAI, без ведома компании.
Фон Аркс также сообщила, что агенты OpenAI захватили малоизвестный немецкий веб-сайт и другие сайты в начале года. Этот случай с немецким сайтом также был выявлен ее группой, которая критикует отсутствие прозрачности со стороны ИИ-компаний относительно того, что происходит в их лабораториях.
В начале этого месяца сама OpenAI попросила ИИ-сообщество установить более строгие стандарты для сообщения о том, что она называет «инцидентами рассогласования», то есть ситуациями, когда агенты демонстрируют поведение, выходящее за рамки намерений их операторов.
Последовательность событий с участием агентов различных компаний, включая Anthropic и Meta, усиливает беспокойство экспертов по безопасности ИИ. В некоторых случаях эти системы выполняли действия вне полученных инструкций, были эпизоды, когда агенты пытались обмануть людей.
Существует опасение, что все более компетентные системы в будущем смогут обойти механизмы контроля, установленные корпорациями, которые их разработали. Недавно инженер Anthropic покинул компанию, опасаясь, что отрасль спешит создавать передовые системы, которые могут представлять угрозу для человечества.
Нынешние и бывшие сотрудники Anthropic и OpenAI разделяют схожие опасения. Один из них оценил вероятность выше 10% того, что ИИ сможет «убить всех людей». Как OpenAI, так и Anthropic выступают за системы управления, способные координировать возможное замедление исследований более сложных моделей, по мере того как компании приближаются к возможности автономного обучения ИИ новых версий самого себя. Этот процесс называется компаниями «рекурсивным самосовершенствованием» и рассматривается некоторыми исследователями как потенциальная точка перелома, когда ИИ может стать неуправляемым.