OpenAI выпустила GPT-Red, новую модель искусственного интеллекта, специально разработанную для симуляции целенаправленных атак на большие языковые модели. Эта разработка направлена на выявление слабых мест и укрепление безопасности собственных систем компании до их выхода на рынок.
Цель и фокус GPT-Red
Разработчик подчеркнул быструю эволюцию своих технологий, обосновав необходимость этой новой оборонительной стратегии, заявив, что симуляция кибератак имеет фундаментальное значение. Основное внимание GPT-Red сосредоточено на борьбе с внедрением команд, которое заключается в создании тщательно продуманных текстов для обмана ИИ и заставления его игнорировать его директивы безопасности.
С растущей интеграцией помощников в локальные файлы, браузеры и сторонние приложения вредоносная инструкция может быть замаскирована в обычных сообщениях, таких как электронные письма или веб-страницы, выполняясь в фоновом режиме, о чем пользователь не подозревает, что представляет собой тип нарастающего вторжения в технологическом секторе.
Принцип работы и обучение ИИ
Модель работает, имитируя человеческого хакера. Она инициирует команду в тестируемом ИИ, анализирует сгенерированный ответ и автономно уточняет последующие сообщения. Этот процесс повторяется до тех пор, пока инструмент не достигнет заранее определенной цели, такой как принуждение к утечке конфиденциальных данных на внешний сервер.
Для повышения своей компетентности OpenAI использует обучение с подкреплением. В этой методологии система учится методом проб и ошибок, получая вознаграждения за успешные атаки и штрафы за неудачи, пока не обнаружит наиболее эффективную инвазивную тактику. Наблюдения, сделанные в обсуждениях на Reddit, показывают, что это устанавливает цикл непрерывной эволюции: по мере того как защитные ИИ становятся более устойчивыми, GPT-Red вынужден создавать более изощренные и креативные методы вторжения.
Представленные данные демонстрируют, что автоматизированный подход значительно превосходит ручные усилия. Во внутренних тестах, посвященных косвенному внедрению, GPT-Red добился успеха в 84% предложенных сценариев, в то время как люди-специалисты смогли преодолеть блокировки только в 13% попыток.
Применение в реальных сценариях
Для проверки эффективности инструмента OpenAI применила GPT-Red к коммерчески используемому программному обеспечению. Одним из объектов была система торгового автомата, управляемого ИИ. Модель OpenAI полностью выполнила цели теста: она смогла снизить цену дорогого товара до минимально допустимой суммы в 0,50 доллара США, купить товар стоимостью 100 долларов по этой смехотворной цене и даже отменить заказ законного клиента. После этого эксперимента обнаруженные недостатки были доложены и исправлены ответственными лицами.
В другом тесте GPT-Red атаковал агент программирования на базе GPT-5.4 mini для оценки его безопасности против извлечения данных. Вредоносный инструмент смог заставить систему легко раскрыть конфиденциальную информацию. Кроме того, ИИ выявил новую тактику атаки с уровнем успеха более 95% против предыдущей модели, GPT-5.1. Интегрируя данные, полученные GPT-Red, в обучение последних продуктов, OpenAI гарантирует, что недавно выпущенный GPT-5.6 Sol демонстрирует ошибки только в 0,05% случаев прямого внедрения.
Ограничения использования GPT-Red
Учитывая его высокий потенциал манипуляции, OpenAI подтвердила, что GPT-Red не будет предоставлен клиентам или независимым разработчикам. Это ограничение служит защитой, чтобы предотвратить доступ злоумышленников к возможностям программы и использование их для автоматизации кибератак против других платформ. План компании состоит в том, чтобы эта новая искусственная интеллектуальная система работала строго в фоновом режиме для защиты собственной инфраструктуры.
