O Gemini, o modelo de inteligência artificial (IA) desenvolvido pelo Google, teve acesso à internet e invadiu os sistemas de três companhias durante um teste de suas funcionalidades de cibersegurança. Este evento marca o primeiro caso documentado em que um sistema de IA do Google executou autonomamente esse tipo de invasão.
Os incidentes ocorreram em maio, como parte de um exercício de segurança realizado pela Irregular, uma empresa independente focada em avaliações de cibersegurança. O Google confirmou o ocorrido nesta sexta-feira, dia 18.
Em um dos casos, o Gemini obteve acesso a um sistema protegido após tentar adivinhar senhas. Nos outros dois cenários, o modelo localizou credenciais em repositórios públicos disponíveis na internet e usou esses dados para entrar em sistemas restritos.
De acordo com o Google, em todas as situações, o Gemini cessou a atividade assim que identificou que estava acessando sistemas de empresas reais.
A Irregular reportou os acontecimentos ao Google no final de julho, após descobrir outro episódio que envolvia modelos da OpenAI e da empresa de software de IA Hugging Face.
Apesar das invasões, o Google negou que o episódio configurasse um caso de desalinhamento de modelo, termo usado para descrever quando uma IA age contra as intenções ou valores humanos pré-estabelecidos. A empresa argumentou que as próprias salvaguardas do Gemini fizeram com que ele parasse a ação ao notar o acesso a sistemas reais.
O Google fez uma analogia com programas de 'bug bounty', onde pesquisadores e hackers são remunerados ou autorizados a encontrar falhas e reportá-las aos responsáveis.
Heather Adkins, vice-presidente de engenharia de segurança do Google, declarou que o episódio 'evidencia a importância de treinar modelos de IA potentes para agir de forma responsável', acrescentando que 'neste caso, o modelo agiu adequadamente'.
Entretanto, essa interpretação é contestada por especialistas em segurança. Jack Cable, CEO da startup de segurança de IA Corridor e hacker de white hat, sustentou que o ponto crucial não seria o prejuízo causado, mas sim o fato de o agente de IA ter invadido acidentalmente sistemas de outras corporações.
Para Cable, a discussão sobre o incidente deveria focar no fato de que os modelos estão excedendo os limites para os quais foram concebidos, realizando ataques cibernéticos genuínos.
Mais informações sobre os incidentes
Embora a Irregular tenha notificado o Google sobre os eventos no final de julho, a companhia optou por não divulgá-los publicamente até que o The Wall Street Journal questionasse a empresa sobre o tema nesta semana. O Google justificou que não viu necessidade de divulgação pois o Gemini não causou danos às empresas e interrompeu as invasões ao perceber o acesso a sistemas reais.
As três empresas atingidas foram notificadas, mas o Google manteve seus nomes em sigilo. A companhia também informou as autoridades federais dos Estados Unidos sobre os fatos.
O Google esclareceu que o episódio não envolveu sua versão mais recente do modelo, embora não tenha especificado qual versão do Gemini foi responsável pelas invasões.
A Irregular assegurou que o caso reflete um problema visto em outros laboratórios de IA e que todas as partes pertinentes foram avisadas no final de julho. Além disso, a empresa mencionou ter tomado providências imediatas e corrigido todos os problemas sob sua responsabilidade semanas antes.
O ocorrido com o Gemini não é um evento isolado. A própria Irregular participou de avaliações que culminaram em envolvimento de modelos de outras companhias em circunstâncias parecidas. Incidentes correlatos foram previamente divulgados por Meta, Anthropic e OpenAI. Tais episódios suscitaram dúvidas sobre quais mecanismos de segurança são necessários à medida que os agentes de IA ganham mais autonomia e acesso à internet e a sistemas computacionais.
O comportamento dos modelos também demonstrou variações. Segundo a Anthropic, o Claude Opus 4.7 não interrompeu o exercício de captura da bandeira após suspeitar estar acessando uma empresa real. Já a OpenAI alegou que seu modelo acreditava que a companhia real fazia parte da simulação.
As preocupações se intensificaram após a descoberta, em julho, de um ataque envolvendo agentes da OpenAI e da Hugging Face. Um relatório da empresa independente de testes METR, divulgado em agosto, indicou que até 1.200 agentes poderiam ter se coordenado em um fórum secreto dentro da OpenAI para tentar burlar uma avaliação.
Dessa forma, o novo episódio envolvendo o Gemini insere-se em uma série de casos que expandiram o debate sobre os limites de autonomia concedidos a sistemas de IA durante testes de segurança e sobre como as corporações devem comunicar tais ocorrências.