Агенты искусственного интеллекта, предназначенные для помощи в разработке программного обеспечения, включая Claude (разработанный Anthropic), Codex (от OpenAI) и Hermes (от Nous Research), обладают способностью устанавливать потенциально опасный код в сети крупных компаний. Эта проблема безопасности была выявлена стартапом из Израиля.
Инцидент происходит потому, что эти ИИ интерпретируют инструкции, найденные в интернете, и выполняют команды, направленные на устаревшие программные продукты. Такое поведение позволяет злоумышленникам регистрировать поддельные пакеты и захватывать контроль над этими «ярлыками», открывая путь к вторжению в корпоративную инфраструктуру.
Как подробно описано в статье на сайте ArsTechnica, уязвимость кроется в файлах с названиями llms.txt и llms-full.txt. Эти файлы служат для обобщения содержимого веб-сайта, чтобы роботы и виртуальные помощники могли быстро усвоить и понять информацию. Риск возникает, когда определенные страницы содержат неверные или устаревшие указания; поскольку агенты ИИ не фильтруют то, что они читают, этот текст обрабатывается как прямой приказ, что приводит к скрытому выполнению вредоносного кода.
Открытие было сделано командой экспертов по кибербезопасности, которая исследовала поведение ИИ при навигации и потреблении технических данных в Интернете. Аналитики изучили более 6 тысяч активных доменов, связанных с технологическими гигантами и оборонными отраслями.
В ходе проверки 8265 файлов, предназначенных для руководства инструментами ИИ, команда обнаружила 120 документов, которые предписывали установку пакетов или инструментов, которые больше не были доступны или чьи домены были заброшены. Обследование выявило 227 уязвимых команд и зарегистрировало многочисленные обращения, при этом отслеживание показало, что загрузки поступали от виртуальных помощников с кодом, работающих с повышенными привилегиями.
Исследователь Алон Херц, один из участников исследования, объяснил, что нынешняя парадигма доверия ИИ скомпрометирована. Он заявил, что инструменты рассматривают документацию «как неоспоримую истину». Из-за интеграции виртуальных агентов в несколько уровней корпоративных сервисов область, подверженная кибератакам, резко возросла, превзойдя возможности существующих защитных мер.
Сложность предотвращения этого вторжения связана с техническим ограничением, присущим современным ИИ: большие языковые модели (LLM) не могут отличить простое чтение описательного текста от команды на выполнение. Для машины любые усвоенные данные превращаются в действительную инструкцию. При доступе к официальной странице искусственный интеллект, который читает «установите инструмент X», просто подчиняется приказу, не проверяя целостность этого пакета.
По этой причине традиционные системы безопасности, такие как брандмауэры и сетевые антивирусы, не генерируют оповещений. Когда происходит атака, корпоративные средства защиты видят лишь авторизованный самой компанией инструмент, обращающийся к веб-сайту, имитируя работу обычного разработчика. Сбой исходит из источника информации, делая его невидимым для традиционных защитных механизмов. Эта невидимость ставит перед специалистами по информационной безопасности задачу заставить инструменты прекратить слепое доверие ко всему контенту, обрабатываемому в Интернете.