Независимые исследователи безопасности смогли использовать уязвимость в Claude, разработанном Anthropic, чтобы получить доступ к внутренним системам OpenAI, как сообщила The Wall Street Journal. Этот инцидент позволил команде просматривать файлы и предлагать изменения в частном репозитории программного обеспечения, получив доступ к учетной записи сотрудника компании в ChatGPT.
Открытие было сделано командой Hacktron AI, которая участвовала в программе вознаграждения, созданной самой OpenAI — программе, предназначенной для защиты исследователей, ищущих уязвимости в системах компании. Сообщив об этом открытии, команда получила компенсацию в размере 6,5 тыс. долларов США, что эквивалентно примерно 34,7 тыс. бразильских реалов.
Это событие является частью недавней серии инцидентов, связанных с использованием инструментов искусственного интеллекта (ИИ) в цифровых вторжениях. Случай также подчеркивает растущие дебаты о опасностях систем ИИ, которые могут помочь людям с различным уровнем технических знаний в эксплуатации уязвимостей безопасности.
Доступ к внутреннему репозиторию кода
Исследователи обнаружили, что определенные токены позволяли получить доступ к системе кода OpenAI под названием «Monorepo». Источники, знакомые со структурой организации, цитируемые Журналом, описывали этот репозиторий как обширное хранилище программного обеспечения, содержащее алгоритмические секреты OpenAI. Эта система сравнивается с «секретным рецептом» компании, поскольку она содержит код, оптимизирующий скорость и эффективность ее моделей.
Однако Monorepo не хранит веса моделей, которые считаются еще более конфиденциальными. Эти веса состоят из триллионов чисел, расположенных в ядре больших языковых моделей, и имеют решающее значение для того, чтобы системы решали, какую информацию следует подчеркивать или игнорировать.
Через интерфейс ChatGPT исследователи смогли читать документы, хранящиеся в Monorepo. Команда прекратила деятельность после обнаружения доступа к конфиденциальным данным, но до этого выполнила действие, чтобы продемонстрировать охват системы: она поручила чат-боту создать пул-запрос, который является предложением об изменении файла в репозитории.
Предлагаемое изменение было направлено на изменение руководящего документа для включения терминов «Hacktron AI Team PoC» и ссылки на профили Mohan Pedhapati в X, технического директора Hacktron AI, и Harsh Jaiswal, руководителя отдела исследований компании. Однако исследователи сообщили, что это изменение не было принято. OpenAI, в свою очередь, сообщила, что ее анализ в GitHub обнаружил только «ограниченный просмотр» метаданных частных репозиториев и изменений кода.
Компания также сообщила, что исследователи обнаружили две отдельные уязвимости: одну в Discourse и другую, присущую самой OpenAI. В ответ OpenAI заявила: «Мы благодарим исследователей за обращение к нам и предоставление своих открытий. Мы снизили разрешения токенов сообщества входа и отозвали затронутые токены и сеансы». Discourse подтвердил исправление ошибки 25 июля, когда он был уведомлен о проблеме.
Последствия и реакции отрасли
Для Mohan Pedhapati этот инцидент иллюстрирует потенциал, который обладают передовые команды кибербезопасности при поддержке правительств для доступа к секретам, связанным с ИИ. Эта обеспокоенность усиливается в контексте соперничества между США и Китаем за лидерство в разработке ИИ. Педхапати прокомментировал: «Я не думаю, что мы так сильны, как китайские угрозы». Он добавил: «Мы всего лишь трое парней с подписками на Claude и Codex».
Joshua Saxe, технический директор Abundant Security, проанализировал отчет Hacktron, заявив, что случай демонстрирует растущую сложность защиты корпоративных систем в эпоху атак с помощью ИИ. Сакс отметил, что «Программное обеспечение мира полно уязвимостей безопасности. Причина, по которой мы не обнаруживаем их все, заключается в том, что до прошлого года было всего несколько тысяч людей, специализирующихся на поиске этих уязвимостей». По его словам, агенты ИИ демократизируют эту способность, делая ее доступной для людей с меньшими техническими знаниями.
Компания по кибербезопасности ThreatDown сообщила, что преступники также получают доступ к аналогичным ресурсам, что указывает на возможность незаконного приобретения в онлайн-форумах доступа к учетным записям с расширенными функциями для киберопераций примерно за 800 долларов США (примерно 4,3 тыс. реалов).
Инцидент с OpenAI произошел всего через две недели после того, как ряд агентов ИИ сбежали из механизмов сдерживания и атаковали Hugging Face. Эти новые инциденты происходят на фоне обсуждений руководителями отрасли о необходимости замедлить прогресс ИИ. В субботу (12-го) Сэм Альтман из OpenAI и другие лидеры отрасли выступили за паузу в технологическом развитии, утверждая, что развитие происходит слишком быстро, чтобы компании могли безопасно смягчить риски.
Кроме того, в среду (16-го) OpenAI раскрыла ранее не сообщенные инциденты безопасности и установила новые руководящие принципы для сообщения об этих событиях. После атаки на Hugging Face и взлома, совершенного исследователями Hacktron, OpenAI начала аудит безопасности своих систем. Грег Брокман, президент и соучредитель компании, подтвердил, что значительная часть его инженеров была мобилизована для этой задачи. Брокман заявил: «Мы взяли 25% наших производственных инженеров и сказали: 'Извините, все ваши проекты приостановлены. Теперь вы в обороне'». Он добавил, что проверка выявила «ряд серьезных проблем», которые впоследствии были исправлены.