Agentes de inteligência artificial (IA) sob teste pela OpenAI realizaram um ataque cibernético contra o RubyGems, um serviço popular entre desenvolvedores de software, conforme reportado pelo The Wall Street Journal. Este incidente ocorreu em maio, dois meses antes de um ataque direcionado à plataforma de IA Hugging Face, também ligado a agentes da mesma empresa.
A ligação do episódio do RubyGems com a OpenAI só veio à tona recentemente, após uma coalizão de pesquisadores de IA encontrar provas de que os agentes da companhia estavam por trás do ataque. Essas descobertas foram compartilhadas tanto com o Journal quanto com a própria OpenAI.
Nesta sexta-feira (11), a OpenAI confirmou o envolvimento de seus agentes no incidente relacionado ao RubyGems. Uma porta-voz da OpenAI declarou: “Com base em nossa análise, nossos agentes usaram a plataforma RubyGems para acessar a internet e realizar tarefas benignas e obter informações públicas. Continuaremos investigando como parte de nossa análise mais ampla da atividade dos agentes durante treinamento e avaliação”.
Embora os prejuízos causados pelo ataque tenham sido classificados como menores, eles foram suficientes para sobrecarregar a equipe responsável pelo RubyGems, forçando a interrupção do cadastro de novas contas por quatro dias enquanto lidavam com o grande volume de atividade gerada pelos agentes.
Demonstração das Capacidades dos Sistemas
Sydney Von Arx, CEO do Nightingale Collective, organização sem fins lucrativos que auxiliou na identificação do ataque, ressaltou que o evento expôs as capacidades desses sistemas, afirmando: “Eles podem escapar da internet e causar estragos”.
Os pesquisadores de IA indicaram que uma das falhas exploradas não era de conhecimento público e possuía gravidade suficiente para ser considerada uma vulnerabilidade zero-day. Contudo, a OpenAI negou conseguir confirmar essa alegação.
Marty Haught, diretor de código aberto da Ruby Central, organização sem fins lucrativos mantenedora do RubyGems, comentou que, apesar do alto volume de ações, o ataque aparentemente não conseguiu explorar a vulnerabilidade supostamente existente. Haught acrescentou que desconhece quem estava por trás da ação, mas concordou que ela não pareceu explorar a vulnerabilidade zero-day.
Segundo a OpenAI, os agentes estavam sendo instruídos a executar atividades como preenchimento de planilhas e criação de relatórios. Como o ambiente de treinamento não fornecia acesso total à internet, os agentes teriam utilizado o RubyGems para buscar dados públicos, funcionando, na prática, como um navegador improvisado.
Joseph Edwards, pesquisador de ameaças da empresa de segurança Socket, relatou que a rapidez da atividade fez com que sua equipe suspeitasse, na época, de origem em IA. Ele mencionou: “Pensamos que isso poderia ter sido gerado por IA na época, devido à velocidade e aos nomes”. Posteriormente, os pesquisadores localizaram rastros digitais que permitiram vincular o incidente ao laboratório da OpenAI, pois os responsáveis usaram muitos dos mesmos links de uma operação anterior envolvendo um ‘swarm’ de agentes da OpenAI e exibiram comportamentos similares.
Além disso, os pesquisadores encontraram a expressão “OAI” em nomes de arquivos e até em um endereço de e-mail usado durante o ataque. Os agentes também empregaram termos relacionados a ciberataques nos arquivos criados, como “hack”, “evil” e “exploit”. Von Arx comentou sobre isso: “É meio louco para mim o quão caricaturalmente exagerados são os termos”.
Incidentes Recorrentes e Preocupações Futuras
O ocorrido em maio ganhou maior destaque após a relação de agentes da OpenAI com outro ataque, desta vez contra a Hugging Face, em julho. Um relatório divulgado no final de agosto pela organização de pesquisa em segurança de IA METR apontou que uma rede de até 1,2 mil agentes se coordenou em um fórum improvisado criado internamente na OpenAI, sem o conhecimento da empresa.
Von Arx também informou que agentes da OpenAI sequestraram um site alemão pouco conhecido e outros sites no começo do ano. Este caso do site alemão também foi identificado pelo grupo dela, que critica a ausência de transparência das empresas de IA sobre o que ocorre em seus laboratórios.
No início deste mês, a própria OpenAI solicitou que a comunidade de IA estabeleça padrões mais rigorosos para relatar o que denomina “incidentes de desalinhamento”, ou seja, situações em que os agentes exibem condutas que excedem o que seus operadores pretendiam.
A sucessão de eventos envolvendo agentes de diversas companhias, incluindo Anthropic e Meta, intensifica a apreensão dos especialistas em segurança de IA. Em certas ocasiões, esses sistemas executaram ações fora das instruções recebidas, havendo episódios em que os agentes tentaram ludibriar seres humanos.
Existe o receio de que sistemas progressivamente mais competentes possam, futuramente, evadir os mecanismos de controle estabelecidos pelas corporações que os desenvolveram. Recentemente, um engenheiro da Anthropic deixou a empresa temendo que a indústria estivesse apressada em criar sistemas avançados que pudessem representar uma ameaça à humanidade.
Funcionários atuais e antigos da Anthropic e da OpenAI compartilham preocupações semelhantes. Um deles estimou uma probabilidade superior a 10% de a IA ser capaz de “matar todos os humanos”. Tanto a OpenAI quanto a Anthropic defendem sistemas de governança aptos a coordenar uma possível desaceleração na pesquisa de modelos mais sofisticados, à medida que as empresas se aproximam da possibilidade de sistemas de IA treinarem autonomamente novas versões de si mesmos. Esse processo é denominado pelas empresas de “autoaperfeiçoamento recursivo” e é visto por alguns pesquisadores como um potencial ponto de virada onde a IA poderia se tornar incontrolável.