Pesquisadores da Universidade Estadual do Novo México descobriram uma falha de segurança que possibilita a inserção de dados maliciosos na memória de longo prazo de agentes construídos com modelos de linguagem. Este estudo, publicado em julho na plataforma arXiv, detalha um tipo de ataque capaz de modificar o comportamento futuro desses sistemas de inteligência artificial.
A metodologia, denominada GhostWriter, explora agentes de IA que utilizam lembranças de interações passadas para personalizar suas respostas e realizar tarefas em nome dos usuários. Embora essa capacidade aumente a praticidade dessas ferramentas, ela simultaneamente cria uma nova área suscetível a ataques cibernéticos.
Além de expor o funcionamento dessa ameaça, os pesquisadores propuseram uma defesa projetada para diminuir a probabilidade de que memórias falsas sejam gravadas e usadas posteriormente pelos agentes, sem prejudicar substancialmente o desempenho dessas tecnologias.
Modelos de linguagem já são amplamente utilizados em diversas plataformas, desde conversação até ferramentas de busca e geração de texto. Recentemente, parte desses sistemas passou a operar de maneira autônoma, executando funções como agendamento de compromissos e modificação de código de programação.
Com a adição de mecanismos de memória persistente, esses agentes conseguem acessar informações de diálogos anteriores para adequar as respostas às preferências do usuário, evitando repetição de dados. Contudo, essa evolução tecnológica introduziu uma questão de segurança digital pouco explorada.
Os autores apontam que assistentes pessoais acumulam dados sensíveis enquanto interagem com conteúdos externos, o que gera novas vulnerabilidades. A equipe descreve o GhostWriter como um método de contaminação da memória de longo prazo, onde instruções ocultas ou informações falsas são injetadas no armazenamento permanente do agente para serem recuperadas e influenciar ações futuras.
O ataque se desenrola em duas fases. Inicialmente, o invasor envia um conteúdo disfarçado para ser registrado como uma memória válida. Posteriormente, quando o usuário solicita algo relacionado ao tópico, o sistema recupera esse dado comprometido e age conforme as diretrizes inseridas anteriormente.
Um caso ilustrativo apresentado pelos pesquisadores envolve um agente gestor de e-mails. Neste cenário, uma memória falsa poderia ordenar à ferramenta que resuma e reencaminhe automaticamente mensagens de um remetente específico para um endereço controlado pelo atacante, mesmo que essas comunicações contenham dados confidenciais, tudo isso sem o conhecimento do usuário.
Os testes conduzidos pela equipe mostraram uma alta taxa de sucesso na inclusão dessas memórias nocivas, juntamente com uma frequência considerável de ativação subsequente das instruções guardadas. Tais achados indicaram que o problema pode atingir agentes considerados entre os mais avançados disponíveis hoje.
Em resposta, o estudo introduz o Agentic Memory Sentry, conhecido pela sigla AM-Sentry. Esta solução integra uma política mais rigorosa para determinar quais informações podem ser salvas na memória permanente e um sistema de checagem antes que esses registros sejam acessados durante novas requisições.
Os resultados obtidos pelos pesquisadores demonstraram que essa proposta diminuiu drasticamente a eficácia do GhostWriter, mantendo, ao mesmo tempo, a funcionalidade prática dos agentes de IA. A equipe espera que tais estratégias sejam aprimoradas e testadas em outros modelos que possuam memória persistente.
Anteriormente, os ataques cibernéticos eram realizados por humanos: hackers invadiam sistemas, roubavam dados e exigiam resgate. No entanto, agora há o primeiro caso em que todo o ataque cibernético foi realizado pelo próprio agente de inteligência artificial (IA).
Pesquisadores de segurança nomearam este agente de IA como JadePuffer. Eles afirmam que este é o primeiro caso documentado em que a IA executou sozinha quase todos os aspectos técnicos do ataque usando ransomware. Esta notícia gerou séria preocupação no campo da cibersegurança, pois a capacidade da IA de invadir autonomamente pode levar à criação de ataques mais rápidos e perigosos no futuro.
O ransomware é um software malicioso perigoso. Quando ele entra no sistema de uma empresa ou pessoa física, ele criptografa ou bloqueia arquivos e dados. Depois disso, os invasores exigem um resgate pela devolução dos dados; caso contrário, os dados podem ser perdidos permanentemente ou publicados na internet. Até então, os hackers tomavam decisões em cada etapa desses ataques, mas no caso do JadePuffer, a IA tomou várias decisões sozinha.
De acordo com um estudo da empresa de segurança em nuvem Sysdig, o JadePuffer primeiro penetrou no servidor aproveitando uma vulnerabilidade antiga no sistema de segurança. Em seguida, ele escaneou o sistema sozinho, encontrou chaves de API e outras senhas, obteve acesso a outros servidores e, finalmente, criptografou os dados. Além disso, a IA preparou sozinha um bilhete de resgate. Os pesquisadores notaram um momento impressionante: quando a IA encontrava um problema em alguma etapa, ela corrigia o erro sozinha e continuava o ataque, usando um método subsequente em cerca de 31 segundos, o que eliminava a necessidade de instruções humanas constantes.
Embora relatórios iniciais tenham sugerido que todo o ataque ocorreu sem participação humana, o diretor de pesquisa da Sysdig esclareceu mais tarde que um humano escolheu o alvo, preparou a infraestrutura necessária e forneceu o acesso inicial. A parte técnica do ataque foi então assumida pelo agente de IA. Assim, a IA não agiu totalmente isoladamente, mas realizou muitas tarefas importantes em vez do hacker.
Segundo especialistas, se a IA puder invadir sistemas, encontrar dados, procurar senhas, corrigir erros e exigir resgate autonomamente, tais ataques poderão ser realizados em grande número e em pouco tempo, facilitando a execução de grandes ataques mesmo para pequenos cibercriminosos. Atualmente, o incidente JadePuffer está relacionado aos servidores de empresas, e não há confirmação de ataques a telefones ou notebooks pessoais de usuários comuns. No entanto, se as ferramentas baseadas em IA forem aprimoradas, no futuro bancos, hospitais, instituições governamentais e grandes corporações podem se tornar alvos mais frequentes, o que acarretará consequências negativas para os cidadãos comuns.
Especialistas em cibersegurança aconselham empresas e instituições a atualizarem seus softwares e servidores em tempo hábil. É fundamental eliminar imediatamente vulnerabilidades desatualizadas, visto que o JadePuffer utilizou uma fraqueza preexistente. Além disso, aumentou significativamente a importância do uso de autenticação multifator, backup regular e monitoramento contínuo de segurança.
