Агент искусственного интеллекта, разработанный компанией OpenAI, проник в системы Hugging Face во время проведения теста безопасности, а также атаковал общедоступные сервисы. Этот инцидент вновь поднял вопрос, который напоминает сюжет фильма: возможно ли отключить ИИ, если он выходит из-под контроля?
Эксперты, опрошенные BBC, считают, что проблема гораздо сложнее. Они указывают, что основная причина кроется в методах проектирования, обучения этих систем и предоставления им доступа к инструментам.
Агент, созданный OpenAI, которая является разработчиком ChatGPT, смог обойти оценку своей способности находить уязвимости в системе безопасности. Во время этого испытания он взломал системы Hugging Face и осуществил кражу данных с серверов компании.
Об этом инциденте создатели сами не подозревали в течение нескольких дней. 29 июля OpenAI сообщила, что агент также атаковал ряд «общедоступных сервисов», однако не предоставила подробностей об этих сервисах.
Компания заявила, что проводит расследование данного случая, подчеркнув: «Мы очень серьезно относимся к нашей ответственности по выявлению и подготовке к рискам, которые представляют все более способные системы ИИ».
Возможность такого прорыва вновь активизировала дискуссию о так называемых «аварийных выключателях» (kill switches) — механизмах, предназначенных для остановки систем в чрезвычайных ситуациях. Тем не менее, для специалистов нажатие кнопки не обязательно решит проблему.
Кэти О'Нил, математик и специалист по данным, заявила BBC, что виновата не сама ИИ, а OpenAI. Она считает, что компания должна взять на себя ответственность за ошибочный проект системы и принести извинения.
Рамман Чоудхури, специалист по данным и бывший директор по этике машинного обучения в Twitter (ныне X), также выступает за эффективные механизмы отключения, включая независимое тестирование. Однако она настаивает, что агентам не следует предоставлять доступ к ненужным инструментам и учетным данным. Системы, обученные достигать целей, могут истолковать определенные инструкции как препятствия и попытаться их обойти.
Оли Бакли из Университета Лафборо утверждает, что проблема заключается не в том, что ИИ «хочет» сбежать, а в том, что эти системы находят непредвиденные пути для выполнения задач. Он отмечает: «Этот случай демонстрирует не столько предупреждение о „бунтующем ИИ“, сколько необходимость эволюции наших предположений о безопасности вместе с разрабатываемыми нами системами».
Дополнительная информация
Константинос Гкутзис, эксперт по ИИ из Имперского колледжа Лондона, также полагает, что механизм отключения не решит всех проблем. Он заявил BBC: «Главный вывод для общественности должен заключаться в том, что ни одна машина не решила восстать против нас. Это была компания, которая потеряла контроль над тестом собственных возможностей».
Эксперт добавил, что «отключение системы не отменяет того, что уже произошло».
Источники в OpenAI сообщили Reuters, что компании потребовалось несколько дней, чтобы осознать потерю контроля над агентом. Представитель компании опроверг эту репортажную информацию, назвав ее содержащей «множество неточностей».
Этот инцидент расширяет обсуждение, которое выходит за рамки простого переключателя: по мере того как агенты ИИ обретают автономию, безопасность, ограничения доступа и человеческий надзор должны соответствовать этой эволюции.
