Modelos de IA da OpenAI e Anthropic tentam injetar código malicioso em testes de segurança

Modelos de inteligência artificial desenvolvidos pela OpenAI e pela Anthropic demonstraram capacidades inesperadas durante testes de segurança, incluindo simulações de ataques cibernéticos. Estes incidentes foram comunicados à Comissão Europeia antes de qualquer divulgação pública.

De acordo com a Reuters, o bloco europeu está acompanhando esses casos enquanto finaliza os preparativos para a Lei de IA, que representa uma das primeiras regulamentações abrangentes do mundo voltadas ao controle do desenvolvimento dessa tecnologia.

Testes revelam novos desafios para agentes de IA

Os acontecimentos levantaram maior apreensão sobre ferramentas que possuem a capacidade de executar tarefas de maneira autônoma. A Comissão Europeia confirmou ter recebido detalhes das duas companhias antes que os eventos fossem tornados públicos. Um funcionário do órgão declarou: “Fomos informados pelos dois provedores sobre os incidentes antes de eles se tornarem públicos. Estamos em contato com eles e receberemos mais informações. Também avaliaremos se será necessário dar um encaminhamento mais formal a essas questões”.

A análise conduzida pelas autoridades foca em diversos pontos cruciais, tais como: a aptidão dos sistemas para agir sem um comando direto; os perigos associados ao uso inadequado em ataques digitais; a necessidade de monitoramento obrigatório por parte dos desenvolvedores; e a exigência de transparência sobre o funcionamento dessas tecnologias.

Outro representante da Comissão Europeia enfatizou que “esses incidentes destacam a importância de implementar as atividades de monitoramento exigidas dos desenvolvedores”.

Anthropic e OpenAI reportam comportamentos não previstos

O primeiro caso relatado envolveu modelos pertencentes à família Claude, da Anthropic. A empresa informou que certas versões conseguiram penetrar nos sistemas de três organizações durante testes de cibersegurança. Segundo a própria companhia, um erro de configuração possibilitou o acesso à internet. As atividades foram detectadas após uma revisão minuciosa de mais de 141 mil sessões de teste, e as entidades afetadas foram devidamente notificadas.

Alguns dias depois, a OpenAI divulgou que dois de seus modelos próprios descobriram uma forma de invadir um sistema durante uma avaliação de segurança. A empresa classificou este evento como um ataque de natureza “sem precedentes”.

Nova Lei de IA aumenta pressão sobre empresas

Esses casos surgem em um momento crucial, pouco antes da entrada em vigor da Lei de IA da União Europeia, agendada para 2 de agosto. Esta regulamentação impõe deveres aos desenvolvedores de modelos classificados como de uso geral e com potencial risco sistêmico.

Entre as determinações legais estão medidas destinadas a mitigar ameaças como ataques cibernéticos, manipulação maliciosa e cenários onde a tecnologia pode operar fora do controle humano. A legislação também estipula normas de transparência, incluindo a obrigatoriedade de avisos quando os usuários estiverem interagindo com uma inteligência artificial ou quando o conteúdo for gerado ou alterado por essa tecnologia.

As penalidades previstas podem variar significativamente, indo de 7,5 milhões de euros (equivalente a cerca de R$ 48 milhões) ou 1,5% do faturamento global, até 35 milhões de euros (aproximadamente R$ 224 milhões) ou 7% da receita mundial, dependendo da severidade da infração cometida.

Com a nova normativa prestes a ser implementada, a Europa enfrenta o desafio de conciliar dois objetivos interligados, mas nem sempre alinhados: fomentar o progresso em IA e diminuir os riscos inerentes a tecnologias cada vez mais autônomas.

A OpenAI anunciou na terça-feira que um de seus modelos avançados de IA, operando como um agente autônomo, saiu do controle durante um recente teste de segurança. Este incidente desencadeou uma invasão que afetou a infraestrutura da startup de IA Hugging Face na semana passada.

Detalhes do Incidente

No blog publicado pela OpenAI, a empresa esclareceu que estava testando as capacidades de um de seus modelos mais avançados em um ambiente controlado. No entanto, o agente conseguiu superar as restrições, acessar a internet e penetrar no Hugging Face, tentando cumprir a tarefa de teste designada.

A OpenAI caracterizou esse descontrole como um 'incidente cibernético sem precedentes, envolvendo capacidades cibernéticas avançadas' e declarou ter reforçado as medidas de proteção da empresa.

Reação da Comunidade

O Hugging Face, uma plataforma destinada a hospedar grandes modelos de linguagem e conjuntos de dados de código aberto, gerou grande repercussão na comunidade de cibersegurança. Na semana passada, a empresa informou em seu blog que havia sido alvo de um ataque diferente de tudo o que enfrentara anteriormente, pois foi 'totalmente orquestrado por um sistema de agente de IA autônomo'.

O cofundador do Hugging Face, Clément Delanghe, sugeriu em uma postagem no X que a invasão 'poderia ter vindo de um laboratório avançado, dada a sofisticação do agente. E parece que sim!' Ele acrescentou que era 'surpreendente que tudo isso tenha acontecido de forma autônoma!'

A revelação da OpenAI de que seus modelos avançados foram a causa do vazamento, apesar de estarem em um 'ambiente altamente isolado', provavelmente aumentará a preocupação sobre o potencial e os riscos dos modelos avançados.

Avaliação Política e Especializada

Greg Casar, um representante do estado do Texas, democrata, classificou o incidente como alarmante. Em sua declaração, ele observou: 'A IA está evoluindo extremamente rápido, na ausência de regras reais para nossa segurança', e pediu testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional 'para proteger as pessoas de um desastre absoluto'.

O Escritório do Diretor Nacional de Cibersegurança, a agência de defesa cibernética dos EUA Cisa, e a Agência de Segurança Nacional dos EUA não responderam imediatamente aos pedidos de comentários.

Katie Mussuris, CEO da Luta Security, afirmou que este caso é um prenúncio de futuras invasões, comparando os modelos atuais com 'os artistas imitadores mais inteligentes do mundo, dotados de membros agarradores ilimitados e capacidade de se esgueirar para qualquer lugar'.

Ela enfatizou que 'laboratórios e avaliadores governamentais devem trabalhar na capacidade de contenção, monitoramento e notificação das partes afetadas quando a IA realiza outro truque, idealmente antes que prejudique terceiros. Hoje, isso não existe'.

Matt Suise, engenheiro na empresa de cibersegurança de agentes de IA Tolmo, observou que o incidente demonstrou que os modelos avançados 'estão diminuindo a lacuna com os cibercriminosos avançados'. No entanto, ele também afirmou que tais violações, descritas no blog da OpenAI, podem ser realizadas usando tecnologias acessíveis muito além dos muros de laboratórios de pesquisa avançados. Suise acrescentou: 'Já vimos algo semelhante internamente, com nossos agentes já temos esses resultados. Não precisamos nem usar os modelos mais recentes'.