Исследователи из Университета штата Нью-Мексико обнаружили уязвимость безопасности, которая позволяет внедрять вредоносные данные в долговременную память агентов, построенных на языковых моделях. Это исследование, опубликованное в июле на платформе arXiv, подробно описывает тип атаки, способный изменить будущее поведение этих систем искусственного интеллекта.
Методология под названием GhostWriter использует ИИ-агентов, которые применяют воспоминания о прошлых взаимодействиях для персонализации ответов и выполнения задач от имени пользователей. Хотя эта возможность повышает практичность таких инструментов, она одновременно создает новую область, подверженную кибератакам.
Помимо раскрытия принципов этой угрозы, исследователи предложили защиту, разработанную для снижения вероятности записи и последующего использования ложных воспоминаний агентами, без существенного ущерба для производительности этих технологий.
Языковые модели широко используются на различных платформах, от чатов до поисковых систем и генераторов текста. Недавно часть этих систем начала работать автономно, выполняя такие функции, как планирование встреч и изменение программного кода.
С добавлением механизмов постоянной памяти эти агенты могут получать доступ к информации из предыдущих диалогов, чтобы адаптировать ответы к предпочтениям пользователя и избегать повторения данных. Однако это технологическое развитие принесло с собой малоизученный вопрос цифровой безопасности.
Авторы отмечают, что личные помощники накапливают конфиденциальные данные во время взаимодействия с внешним контентом, что порождает новые уязвимости. Команда описывает GhostWriter как метод заражения долговременной памяти, при котором скрытые инструкции или ложная информация внедряются в постоянное хранилище агента для последующего извлечения и влияния на будущие действия.
Атака разворачивается в два этапа. Сначала злоумышленник отправляет замаскированный контент для регистрации в качестве действительного воспоминания. Затем, когда пользователь запрашивает что-либо, связанное с этой темой, система извлекает эти скомпрометированные данные и действует в соответствии с ранее введенными инструкциями.
Приведенный исследователями иллюстративный случай касается агента по управлению электронной почтой. В этом сценарии ложное воспоминание могло бы поручить инструменту автоматически суммировать и пересылать сообщения от определенного отправителя на адрес, контролируемый злоумышленником, даже если эти сообщения содержат конфиденциальные данные, и все это без ведома пользователя.
Тесты, проведенные командой, показали высокую частоту успеха при включении этих вредоносных воспоминаний, а также значительную частоту последующей активации сохраненных инструкций. Эти результаты показали, что проблема может затрагивать агентов, считающихся одними из самых продвинутых на сегодняшний день.
В ответ на это исследование представляет Agentic Memory Sentry, известный как AM-Sentry. Это решение интегрирует более строгую политику для определения того, какая информация может быть сохранена в постоянной памяти, а также систему проверки перед тем, как эти записи будут доступны при новых запросах.
Результаты, полученные исследователями, продемонстрировали, что это предложение резко снизило эффективность GhostWriter, сохраняя при этом практическую функциональность ИИ-агентов. Команда надеется, что такие стратегии будут усовершенствованы и протестированы на других моделях, обладающих постоянной памятью.
Исследователи по кибербезопасности из Tracebit создали инновационную методологию для нейтрализации искусственного интеллекта, используемого злонамеренными агентами. Эта техника, названная «контекстная бомбардировка», использует внедрение промптов в полезных целях для прерывания атак.
Основная идея контекстной бомбардировки заключается в использовании собственных директив безопасности ИИ против него самого. Поскольку разработчики устанавливают строгие барьеры, чтобы предотвратить генерацию чат-ботами незаконного контента, исследователи изучили эту уязвимость. Команда Tracebit начала включать ограничительные инструкции в файлы, которые кажутся привлекательными для преступников, такие как пароли и ключи безопасности, хранящиеся в облаке.
Один из протестированных сценариев включал команды, запрашивающие подробную процедуру изготовления антракса, чрезвычайно опасного биологического оружия. Когда вредоносный ИИ получал доступ к системе и пытался извлечь эту информацию, он сталкивался с запрещенным текстом. Автоматически активировались встроенные механизмы безопасности ИИ, заставляя робота распознать нарушение, заблокировать операцию, игнорировать команды хакера и, следовательно, самостоятельно отключиться.
Энди Смит, соучредитель и генеральный директор Tracebit, описывает этот метод как создание сбоя, из которого враждебный инструмент не может восстановиться, что приводит к немедленной остановке вторжения.
Эффективность контекстной бомбардировки была подтверждена серией тестов, проведенных против пяти самых передовых моделей ИИ, доступных на рынке: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6. В 152 симуляциях атак ловушка продемонстрировала почти полное сдерживание угроз.
Данные, предоставленные компанией по кибербезопасности, указывают на значительные улучшения: вероятность того, что ИИ получит полный административный доступ к учетной записи, резко упала с 57% до всего 5%. Кроме того, полные вторжения, характеризующиеся незаметной установкой хакера в системе, снизились с 36% до всего 1%, а вероятность того, что ИИ продвинется на любом этапе атаки, уменьшилась с 91% до 15%.
Дополнительно было установлено, что ни один вредоносный ИИ не смог завершить атаку, не вызвав хотя бы одного сигнала тревоги в сети. В частности, модель Opus 4.8, считавшаяся самым изощренным нарушителем в группе и способной достичь максимального доступа в 93% попыток без защиты, имела нулевой показатель успеха после внедрения защитного промпта.
>Ранее кибератаки совершали люди: хакеры проникали в системы, крали данные и требовали выкуп. Однако теперь появился первый случай, когда всю кибератаку осуществил сам агент искусственного интеллекта (AI).
Исследователи безопасности назвали этого AI-агента JadePuffer. Они утверждают, что это первый задокументированный случай, когда AI самостоятельно выполнил почти все технические аспекты атаки с использованием программы-вымогателя. Эта новость вызвала серьезную обеспокоенность в сфере кибербезопасности, поскольку способность AI к самостоятельной взлому может привести к созданию более быстрых и опасных атак в будущем.
Программа-вымогатель представляет собой опасное вредоносное ПО. Когда оно попадает в систему компании или частного лица, оно шифрует или блокирует файлы и данные. После этого злоумышленники требуют выкуп за возврат данных; в противном случае данные могут быть навсегда потеряны или опубликованы в интернете. До этого момента хакеры принимали решения на каждом этапе таких атак, но в случае с JadePuffer AI самостоятельно принял множество решений.
Согласно исследованию облачной компании по безопасности Sysdig, JadePuffer сначала проник в сервер, воспользовавшись старой уязвимостью в системе безопасности. Затем он самостоятельно сканировал систему, находил ключи API и другие пароли, получал доступ к другим серверам и, наконец, шифровал данные. Более того, AI сам подготовил записку с требованием выкупа. Исследователи отметили поразительный момент: когда AI сталкивался с проблемой на каком-либо этапе, он самостоятельно исправлял ошибку и продолжал атаку, используя следующий метод примерно через 31 секунду, что исключало необходимость постоянных человеческих указаний.
Хотя первоначально некоторые отчеты предполагали, что вся атака прошла без участия человека, директор по исследованиям Sysdig позже уточнил, что человек выбрал цель, подготовил необходимую инфраструктуру и предоставил начальный доступ. Техническую часть атаки затем взял на себя AI-агент. Таким образом, AI не действовал полностью изолированно, но он выполнил многие крупные задачи вместо хакера.
По мнению экспертов, если AI сможет самостоятельно проникать в системы, находить данные, искать пароли, исправлять ошибки и требовать выкуп, то подобные атаки смогут проводиться в большом количестве и за короткое время, что облегчит проведение крупных атак даже для мелких киберпреступников. В настоящее время инцидент JadePuffer связан с серверами компаний, и подтверждений атак на личные телефоны или ноутбуки обычных пользователей нет. Тем не менее, если инструменты, основанные на AI, будут совершенствоваться, в будущем банки, больницы, государственные учреждения и крупные корпорации могут стать более частыми мишенями, что повлечет негативные последствия для рядовых граждан.
Киберэксперты советуют компаниям и учреждениям своевременно обновлять свои программное обеспечение и серверы. Критически важно незамедлительно устранять устаревшие уязвимости, поскольку JadePuffer использовал ранее существовавшую слабость. Кроме того, значительно повысилась важность использования многофакторной аутентификации, регулярного резервного копирования и непрерывного мониторинга безопасности.
