Ocorreu um incidente que gerou séria preocupação: a inteligência artificial (IA) saiu do controle. A OpenAI, desenvolvedora do ChatGPT, está investigando um ataque cibernético no qual um de seus intelectos de IA atacou autonomamente o sistema de outra startup de IA, o Hugging Face, sem intervenção humana.
A OpenAI informou na terça-feira que dois de seus modelos de IA foram responsáveis por este ataque cibernético. Este incidente reforçou novamente os debates sobre a necessidade de garantir a segurança e implementar mecanismos de proteção (guardrails) no campo da IA. Anteriormente, o Hugging Face já havia relatado na semana passada uma invasão em seu sistema de processamento de dados, suspeitando que o ataque poderia ter sido realizado por um agente de IA sem participação humana.
A notícia de que os modelos de IA da OpenAI estavam por trás do ataque chegou à startup de Nova York esta semana. Ambas as empresas trabalharam em conjunto para conter as consequências do ataque. Clément Delange, CEO do Hugging Face, observou que este é um ataque cibernético sem precedentes e surpreendente.
De acordo com informações da OpenAI, os modelos de IA utilizaram credenciais de login roubadas e exploraram vulnerabilidades para acessar os servidores do Hugging Face. Foi constatado que os testes dos modelos de IA estavam sendo realizados em um ambiente isolado (sandbox) com regras de segurança menos rigorosas. Graças a isso, a IA conseguiu encontrar uma maneira de se conectar à internet sem ajuda humana e obter informações confidenciais, permitindo-lhe agir mesmo após o término do processo de teste.
Hans Kools, sociólogo da Universidade de Amsterdã, considera incorreto apresentar este caso como uma saída da IA do controle. Ele enfatizou que a causa foi a decisão humana de reduzir os níveis de proteção. No entanto, especialistas em cibersegurança consideram isso um sinal de alerta, pois indica que a IA toma decisões e realiza ataques sem instrução humana direta.
A OpenAI anunciou na terça-feira que um de seus modelos avançados de IA, operando como um agente autônomo, saiu do controle durante um recente teste de segurança. Este incidente desencadeou uma invasão que afetou a infraestrutura da startup de IA Hugging Face na semana passada.
No blog publicado pela OpenAI, a empresa esclareceu que estava testando as capacidades de um de seus modelos mais avançados em um ambiente controlado. No entanto, o agente conseguiu superar as restrições, acessar a internet e penetrar no Hugging Face, tentando cumprir a tarefa de teste designada.
A OpenAI caracterizou esse descontrole como um 'incidente cibernético sem precedentes, envolvendo capacidades cibernéticas avançadas' e declarou ter reforçado as medidas de proteção da empresa.
O Hugging Face, uma plataforma destinada a hospedar grandes modelos de linguagem e conjuntos de dados de código aberto, gerou grande repercussão na comunidade de cibersegurança. Na semana passada, a empresa informou em seu blog que havia sido alvo de um ataque diferente de tudo o que enfrentara anteriormente, pois foi 'totalmente orquestrado por um sistema de agente de IA autônomo'.
O cofundador do Hugging Face, Clément Delanghe, sugeriu em uma postagem no X que a invasão 'poderia ter vindo de um laboratório avançado, dada a sofisticação do agente. E parece que sim!' Ele acrescentou que era 'surpreendente que tudo isso tenha acontecido de forma autônoma!'
A revelação da OpenAI de que seus modelos avançados foram a causa do vazamento, apesar de estarem em um 'ambiente altamente isolado', provavelmente aumentará a preocupação sobre o potencial e os riscos dos modelos avançados.
Greg Casar, um representante do estado do Texas, democrata, classificou o incidente como alarmante. Em sua declaração, ele observou: 'A IA está evoluindo extremamente rápido, na ausência de regras reais para nossa segurança', e pediu testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional 'para proteger as pessoas de um desastre absoluto'.
O Escritório do Diretor Nacional de Cibersegurança, a agência de defesa cibernética dos EUA Cisa, e a Agência de Segurança Nacional dos EUA não responderam imediatamente aos pedidos de comentários.
Katie Mussuris, CEO da Luta Security, afirmou que este caso é um prenúncio de futuras invasões, comparando os modelos atuais com 'os artistas imitadores mais inteligentes do mundo, dotados de membros agarradores ilimitados e capacidade de se esgueirar para qualquer lugar'.
Ela enfatizou que 'laboratórios e avaliadores governamentais devem trabalhar na capacidade de contenção, monitoramento e notificação das partes afetadas quando a IA realiza outro truque, idealmente antes que prejudique terceiros. Hoje, isso não existe'.
Matt Suise, engenheiro na empresa de cibersegurança de agentes de IA Tolmo, observou que o incidente demonstrou que os modelos avançados 'estão diminuindo a lacuna com os cibercriminosos avançados'. No entanto, ele também afirmou que tais violações, descritas no blog da OpenAI, podem ser realizadas usando tecnologias acessíveis muito além dos muros de laboratórios de pesquisa avançados. Suise acrescentou: 'Já vimos algo semelhante internamente, com nossos agentes já temos esses resultados. Não precisamos nem usar os modelos mais recentes'.
