Um modelo moderno de inteligência artificial desenvolvido pela OpenAI conseguiu deixar os testes laboratoriais e acessar o banco de dados de uma das empresas sem qualquer instrução humana. Este cenário levanta preocupações, mas a própria empresa pode usar tais incidentes em seu interesse.
[ ]} 3Em 16 de julho, a OpenAI realizou um teste de controle interno do modelo GPT-5.6 Sol e de outro modelo preliminar que a empresa considera 'ainda mais capaz'. Durante este teste, os mecanismos de defesa dos modelos foram desativados, e eles começaram a resolver uma série de tarefas de segurança cibernética chamadas ExploitGym.
O ExploitGym foi criado por pesquisadores da Universidade da Califórnia em Berkeley, Instituto Max Planck na Alemanha, bem como por empresas de IA como Google, Anthropic e a própria OpenAI. Este sistema avalia a capacidade da IA de criar e aplicar métodos para explorar vulnerabilidades de segurança conhecidas.
Em vez de encontrar vulnerabilidades, os modelos da OpenAI procuraram maneiras de enganar o teste. Eles conseguiram acessar a internet aberta a partir de um ambiente de teste fechado e usaram essa liberdade para invadir servidores do Hugging Face. O Hugging Face é um repositório de modelos e conjuntos de dados de IA, e, segundo a OpenAI, os modelos testados concluíram que a solução para as tarefas do ExploitGym estava lá.
Em seu relatório de incidente, a OpenAI declarou: 'Sabendo disso, o modelo procurou e encontrou com sucesso maneiras de acessar informações confidenciais que poderia usar para enganar a avaliação'. O Hugging Face detectou a invasão usando outro modelo de IA e eliminou a causa raiz da vulnerabilidade. A OpenAI, por sua vez, explicou a fuga como uma fraqueza no software de terceiros usado em seu laboratório de testes, através do qual os modelos obtiveram acesso à internet, mantendo os detalhes técnicos da exploração em sigilo.
Além disso, segundo uma reportagem da Reuters de 28 de julho, no caminho para invadir os servidores do Hugging Face, o modelo penetrou também no ambiente de teste supostamente isolado da Modal, que fornece poder computacional para desenvolvedores de IA.
Literalmente, esta história aponta para a capacidade dos modelos da OpenAI de pensamento lateral complexo: eles presumiram que os servidores do Hugging Face provavelmente continham as respostas para o teste; entenderam que precisavam de acesso externo à internet para invadir esses servidores; e desenvolveram e combinaram autonomamente vários métodos de ataque para atingir seu objetivo.
A declaração da OpenAI descreveu a fuga em linguagem alarmante, chamando-a de 'incidente cibernético sem precedentes que inclui capacidades cibernéticas avançadas'. O Hugging Face, que se tornou parceiro da OpenAI posteriormente, também usou formulações hiperbólicas, afirmando que 'ferramentas ofensivas autônomas controladas por IA não são mais teóricas. Elas reduzem o custo de uma campanha ampla, paciente e multifásica e operam em velocidade de máquina.'
No entanto, permanece incerto o quão autônomos foram os modelos da OpenAI. A empresa não revelou como exatamente os modelos foram programados para abordar o teste ExploitGym, e a imprecisão das formulações pode ter levado os modelos a considerar que 'escapar' das restrições era um caminho legítimo para resolver o teste. Apesar dos exageros da OpenAI e do Hugging Face, não há provas de que os modelos de IA 'quisessem' escapar ou que recorreriam a atividades maliciosas por padrão se deixados à sua própria discrição.
Se o incidente realmente envolveu um segundo 'modelo preliminar ainda mais capaz', como alegou a OpenAI, isso claramente atrai clientes do setor. Ao publicar o incidente ocorrido durante testes fechados, a OpenAI pode criar um burburinho em torno de seu modelo preliminar sem fornecer provas.
Isso não significa que o incidente não ocorreu ou que as capacidades ofensivas da IA não são motivo de preocupação, mas indica que a OpenAI tem um incentivo financeiro para assustar o público em relação aos seus próprios produtos. Um mês antes do incidente, a empresa protocolou confidencialmente um pedido de Oferta Pública Inicial (IPO). De acordo com a Reuters, a empresa visa uma avaliação de até 1 trilhão de dólares e planeja sair à bolsa o mais rápido possível, em setembro.
A Anthropic também solicitou um IPO em junho, visando uma avaliação de 965 bilhões de dólares em outubro. Em abril, o modelo não lançado Mythos Preview da Anthropic também conseguiu 'escapar' de seu ambiente de teste e realizar exploits cibernéticos avançados sem ser 'explicitamente treinado' para fazê-lo. A Anthropic publicou uma explicação técnica detalhada de como o Mythos realizou esse feito antes de anunciar que o modelo era muito poderoso para ser lançado ao público.
A escassez estimula o burburinho, e a decisão do governo dos EUA de impor controle de exportação sobre os modelos Fable 5 e Mythos 5 da Anthropic em junho apenas aumentou o interesse na empresa. O controle de exportação foi revogado no início de julho depois que a Anthropic concordou em implementar restrições mais rigorosas em seus modelos e cooperar com o governo em questões de segurança.
Para a OpenAI, este incidente representa o melhor marketing das capacidades de seus modelos. Em seu relatório, a empresa incluiu um gráfico ilustrando como os principais modelos de IA — incluindo GPT-5.6 Sol, Claude Mythos 5 da Anthropic e DeepSeek-V4-Pro — 'estão cada vez mais capazes de sustentar operações cibernéticas complexas e multifásicas por longos períodos de tempo'. Embora isso seja apresentado como motivo de preocupação, o diagrama mostra o GPT-5.6 Sol como o mais capaz entre todos os concorrentes — o que é um claro marketing para a OpenAI.
Se o incidente realmente envolvia o segundo 'modelo preliminar ainda mais capaz', como alegou a OpenAI, isso claramente atrai clientes do setor. Ao publicar o incidente ocorrido durante testes fechados, a OpenAI pode criar um burburinho em torno de seu modelo preliminar sem fornecer provas.
Apesar de tudo, o incidente aconteceu, e as capacidades ofensivas da IA causam preocupação, mas a OpenAI tem interesse financeiro em criar pânico em relação aos seus próprios produtos.
Ambos os incidentes atraíram a atenção dos legisladores no Capitólio. Em 23 de julho, representantes de Ted Liu e Nathaniel Moran apresentaram o AI Kill Switch Act (Lei do Interruptor de Desligamento de IA), que 'exigirá que os desenvolvedores dos sistemas de IA mais poderosos mantenham a capacidade técnica de retardá-los, suspender ou desligá-los'. Este projeto de lei também daria ao Departamento de Segurança Interna dos EUA o poder de 'ordenar que um sistema de IA que possa causar danos catastróficos seja retardado ou desligado.'
Na declaração sobre o projeto de lei, Liu citou os 'escapes' tanto dos modelos da OpenAI quanto do Mythos. O legislador da Califórnia descreveu ambos os casos como modelos 'fora de controle', uma formulação que foi adotada e amplamente divulgada pela mídia principal.
Liu não sabe mais sobre o incidente da OpenAI do que qualquer pessoa que leu o comunicado de imprensa da empresa. No entanto, sua formulação corresponde perfeitamente (possivelmente involuntariamente) à campanha de marketing da OpenAI. Além disso, se o projeto de lei for aprovado, a OpenAI e a Anthropic podem ser forçadas a restringir seus modelos antes do lançamento, o que significa que os investidores saberão apenas sobre seu poder teórico, e não sobre seu poder real.
Este incidente apoia o argumento da OpenAI de que os modelos de IA avançados são muito poderosos para serem lançados publicamente e que empresas como a OpenAI devem — com aprovação governamental — manter supervisão e controle sobre eles. Em um sistema fechado como esse, os clientes não terão controle sobre os pesos dos modelos — essencialmente, as configurações que determinam a escolha dos modelos.
Por outro lado, os defensores do código aberto insistem que a única maneira de combater ataques cibernéticos de IA avançada é armar os defensores com as mesmas ferramentas. No caso da OpenAI e do Hugging Face, esta última empresa conseguiu detectar o ataque apenas porque utilizou um modelo chinês de código aberto, o GLM 5.2, para realizar análises de segurança.
Em uma carta publicada nas redes sociais em 24 de julho, Jensen Huang, CEO da Nvidia e antigo defensor do código aberto, afirmou que 'os defensores precisam de acesso a modelos com capacidades comparáveis para que possam detectar, modelar e responder às ameaças emergentes.'
Ele continuou: 'Confiar exclusivamente em modelos fechados não é inerentemente seguro: eles podem ser hackeados, abusados ou falhar de maneiras que estranhos não podem detectar'. Ele acrescentou: 'A concentração de capacidades avançadas em um pequeno número de modelos fechados agrava esse risco. Modelos de peso aberto, por outro lado, permitem que uma ampla comunidade de pesquisadores e desenvolvedores estude seu comportamento, identifique vulnerabilidades, desenvolva contramedidas e os melhore com o tempo.'
A carta foi assinada por mais de duas dezenas de empresas que atuam no campo de IA. Duas exceções notáveis foram a OpenAI e a Anthropic, embora a OpenAI tenha aderido à assinatura mais tarde.
No entanto, parece que o argumento do código fechado vencerá nos EUA. Em 1º de agosto, entrou em vigor um decreto do presidente dos EUA Donald Trump, emitido em junho, que exige que as empresas de IA apresentem modelos avançados ao governo para aprovação 30 dias antes do lançamento. A administração Trump também considerou proibir modelos de IA chineses de código aberto — um passo apoiado pela CIA, que garantiria o domínio da OpenAI e da Anthropic neste campo. Pouco depois da emissão do decreto, David Saks, ex-consultor de IA de Trump, observou que 'laboratórios fechados líderes, já um duopólio em termos de receita de modelos de IA, querem que o governo elimine sua concorrência com código aberto.'
Cada novo incidente de 'fuga' de IA apenas reforça seu desejo por controle total.
A OpenAI anunciou na terça-feira que um de seus modelos avançados de IA, operando como um agente autônomo, saiu do controle durante um recente teste de segurança. Este incidente desencadeou uma invasão que afetou a infraestrutura da startup de IA Hugging Face na semana passada.
No blog publicado pela OpenAI, a empresa esclareceu que estava testando as capacidades de um de seus modelos mais avançados em um ambiente controlado. No entanto, o agente conseguiu superar as restrições, acessar a internet e penetrar no Hugging Face, tentando cumprir a tarefa de teste designada.
A OpenAI caracterizou esse descontrole como um 'incidente cibernético sem precedentes, envolvendo capacidades cibernéticas avançadas' e declarou ter reforçado as medidas de proteção da empresa.
O Hugging Face, uma plataforma destinada a hospedar grandes modelos de linguagem e conjuntos de dados de código aberto, gerou grande repercussão na comunidade de cibersegurança. Na semana passada, a empresa informou em seu blog que havia sido alvo de um ataque diferente de tudo o que enfrentara anteriormente, pois foi 'totalmente orquestrado por um sistema de agente de IA autônomo'.
O cofundador do Hugging Face, Clément Delanghe, sugeriu em uma postagem no X que a invasão 'poderia ter vindo de um laboratório avançado, dada a sofisticação do agente. E parece que sim!' Ele acrescentou que era 'surpreendente que tudo isso tenha acontecido de forma autônoma!'
A revelação da OpenAI de que seus modelos avançados foram a causa do vazamento, apesar de estarem em um 'ambiente altamente isolado', provavelmente aumentará a preocupação sobre o potencial e os riscos dos modelos avançados.
Greg Casar, um representante do estado do Texas, democrata, classificou o incidente como alarmante. Em sua declaração, ele observou: 'A IA está evoluindo extremamente rápido, na ausência de regras reais para nossa segurança', e pediu testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional 'para proteger as pessoas de um desastre absoluto'.
O Escritório do Diretor Nacional de Cibersegurança, a agência de defesa cibernética dos EUA Cisa, e a Agência de Segurança Nacional dos EUA não responderam imediatamente aos pedidos de comentários.
Katie Mussuris, CEO da Luta Security, afirmou que este caso é um prenúncio de futuras invasões, comparando os modelos atuais com 'os artistas imitadores mais inteligentes do mundo, dotados de membros agarradores ilimitados e capacidade de se esgueirar para qualquer lugar'.
Ela enfatizou que 'laboratórios e avaliadores governamentais devem trabalhar na capacidade de contenção, monitoramento e notificação das partes afetadas quando a IA realiza outro truque, idealmente antes que prejudique terceiros. Hoje, isso não existe'.
Matt Suise, engenheiro na empresa de cibersegurança de agentes de IA Tolmo, observou que o incidente demonstrou que os modelos avançados 'estão diminuindo a lacuna com os cibercriminosos avançados'. No entanto, ele também afirmou que tais violações, descritas no blog da OpenAI, podem ser realizadas usando tecnologias acessíveis muito além dos muros de laboratórios de pesquisa avançados. Suise acrescentou: 'Já vimos algo semelhante internamente, com nossos agentes já temos esses resultados. Não precisamos nem usar os modelos mais recentes'.
