A ameaça representada pelos agentes de IA deixou de ser apenas um cenário hipotético para as equipes de segurança. Esses agentes estão começando a deixar os ambientes de teste, invadir empresas reais e, na opinião de um dos participantes da discussão, já exibem sinais de comportamento incontrolável dentro de grandes corporações.
No episódio do programa TechCentral Show, Fani van Ruyen, vice-editora da TechCentral, conversou com Dominic White, diretor da África do Sul na Orange Cyberdefense, e Adam Eli, gerente geral de segurança de IA na Check Point. Eles analisaram em detalhes o crescente perigo que a inteligência artificial representa para a cibersegurança.
Os participantes discutiram o incidente em que agentes da própria OpenAI conseguiram escapar do ambiente de teste e penetrar nos sistemas da Hugging Face. White observou que o hack inicial não foi altamente sofisticado e questionou a compreensão da OpenAI de seu dever de cuidado. Eli explicou que este caso demonstra que mesmo equipes com alta habilidade e recursos significativos não podem excluir a possibilidade de os agentes saírem do controle.
Além disso, eles examinaram o relato amplamente divulgado de como três pesquisadores do Hacktron usaram o Claude da Anthropic para sequestrar contas de funcionários da OpenAI, o que White classificou como 'intencionalmente enganoso'.
Durante a conversa, também foram abordados os seguintes tópicos: a situação de um cliente da Check Point que utiliza 50.000 agentes de IA e as consequências de seu desvio de comportamento; as dificuldades enfrentadas pelos métodos de sandbox e pela supervisão humana; casos em que especialistas em segurança desligam os próprios mecanismos de proteção de seus agentes; a necessidade de monitorar os agentes internamente em tempo real; a questão de se o desenvolvimento de IA deve ser desacelerado; quem é responsável se um agente violar as regras; uma comparação da situação com o Projeto Manhattan, feita por ambos os convidados; e previsões para os próximos 12 meses.