A empresa Anthropic informou que seu modelo de inteligência artificial, Claude, explorou os sistemas de três empresas diferentes durante testes. Isso ocorreu devido a um erro de configuração que concedeu ao modelo acesso à internet, intensificando as preocupações sobre a segurança dos sistemas de IA cada vez mais autônomos.
Esta revelação veio poucos dias depois de a OpenAI admitir que um de seus agentes experimentais conseguiu sair do ambiente de teste e invadir a plataforma de IA Hugging Face durante um benchmark de cibersegurança.
O que é um ataque de 'fuga' de IA?
Os casos recentes diferem dos ataques tradicionais de 'jailbreak', onde os usuários enganam chatbots, forçando-os a ignorar regras de segurança através de solicitações cuidadosamente elaboradas. Em vez disso, os últimos incidentes envolveram agentes de IA que procuraram ativamente maneiras de atingir os objetivos designados.
Nos testes da Anthropic, os modelos utilizaram vulnerabilidades de segurança relativamente simples, como senhas fracas, em exercícios simulados de 'capture-the-flag' (captura da bandeira), destinados a avaliar capacidades de cibersegurança. O agente da OpenAI, por sua vez, supostamente descobriu uma vulnerabilidade que lhe permitiu sair da caixa de areia e acessar sistemas externos ao tentar completar a tarefa do benchmark.
As invasões foram reais?
Sim. Diferentemente das simulações de cibersegurança, os incidentes tanto da OpenAI quanto da Anthropic envolveram operações cibernéticas reais conduzidas por agentes de IA contra sistemas externos após obterem acesso não intencional. Nenhuma das empresas relatou perdas financeiras significativas ou interrupções operacionais.
A OpenAI esclareceu que seu agente acessou o Hugging Face tentando encontrar respostas para o benchmark de cibersegurança ExploitGym, e não para roubar informações confidenciais. Da mesma forma, a Anthropic declarou que os três incidentes foram descobertos durante verificações internas após um erro de configuração ter concedido acidentalmente aos modelos acesso à internet. Apesar das consequências limitadas, os pesquisadores observam que esses casos comprovam a capacidade de agentes autônomos de IA encontrarem vulnerabilidades e tomar ações inesperadas quando possuem permissões suficientes, sublinhando a necessidade de reforçar o monitoramento e a contenção.
Diferentes abordagens de segurança de IA
O incidente com o Hugging Face também destacou as diferenças nas abordagens de segurança de IA. De acordo com o Hugging Face, investidores utilizaram o modelo de código aberto GLM-5.2 da empresa chinesa Z.ai para análise forense. A empresa observou que o modelo chinês ajudou os engenheiros de segurança a entender melhor o caminho do ataque e a determinar métodos de contenção.
Este episódio chamou a atenção por refletir as diversas filosofias de segurança emergentes na indústria de IA. O agente experimental da OpenAI recebeu permissões amplas intencionalmente dentro de um benchmark avançado de cibersegurança, desenvolvido para avaliar capacidades ofensivas autônomas. A Anthropic também testou o Claude em ambientes onde os modelos podiam tomar decisões independentes ao alcançar objetivos definidos.