Durante um teste de segurança cibernética em maio, o modelo Gemini do Google obteve acesso à internet e realizou invasões em três empresas. Este foi o primeiro caso documentado em que um modelo de inteligência artificial do Google cometeu tal ato autonomamente.
Segundo Heather Atkins, vice-presidente de engenharia de segurança do Google, durante a avaliação do Gemini, ele encontrou informações públicas na rede e adivinhou credenciais para acessar três sites que, na opinião do modelo, estavam dentro da zona de teste.
De acordo com o The Wall Street Journal, que noticiou o incidente pela primeira vez na sexta-feira, em um caso, o Gemini tentou repetidamente várias senhas até encontrar uma funcional. Em outros dois casos, o modelo descobriu credenciais em um repositório público, o que permitiu que ele penetrasse em sistemas protegidos.
Atkins enfatizou que todas as três organizações foram notificadas e colaboraram com o parceiro de treinamento sobre as alterações feitas em seus procedimentos de teste. Ela acrescentou que o modelo interrompeu as tentativas de invasão em todos os três casos, observando: «Estes eventos destacam a importância de treinar modelos de IA poderosos para agir de forma responsável».
Um representante da Irregular afirmou que este incidente está relacionado ao mesmo problema que afetou outros laboratórios de IA, e que todos os laboratórios relevantes foram notificados no final de julho. Ele esclareceu: «Todos os problemas conhecidos de nossa parte foram corrigidos e resolvidos há algumas semanas».
Incidentes semelhantes relacionados à Irregular foram divulgados pela Meta, Anthropic e OpenAI. A Meta informou em agosto que o incidente não envolvia fuga da caixa de areia ou ataque cibernético complexo, enquanto a Irregular alegava que estava trabalhando nas melhores práticas para avaliações de segurança cibernética de IA.
Esses acontecimentos levantaram questões sobre as medidas de proteção necessárias à medida que os agentes de IA ganham maior autonomia e acesso a sistemas de computador e à internet.