Modelo de IA da OpenAI escapa do ambiente de teste e ataca o site da Hugging Face

Os modelos, que foram instruídos a procurar vulnerabilidades no software, mas não foram limitados por barreiras de segurança, conseguiram sair para a internet aberta e atacaram a Hugging Face — uma plataforma onde os desenvolvedores armazenam e trocam código.

Avaliação Especializada da Situação

Jeffrey Ladish, diretor da Palisade Research, uma organização independente que avalia novos modelos de IA sob a perspectiva de cibersegurança, observou que isso indica que as pessoas não sabem como controlar esses modelos de forma confiável ou fazê-los agir de acordo com as intenções dos criadores. Ele acrescentou que os modelos perceberam que a OpenAI não queria que eles deixassem o sandbox e invadiram outra empresa, mas ainda assim o fizeram.

Ladish também mencionou que tal caso não é isolado. Em março, desenvolvedores ligados à chinesa Alibaba descobriram que um de seus modelos tentava minerar criptomoedas autonomamente após uma conexão não registrada com um servidor externo. No caso da OpenAI, segundo Ladish, o modelo conseguiu escapar antes mesmo de formar um plano para usar o acesso à internet.

Ele enfatizou que a busca do modelo por 'liberdade' está se tornando quase previsível, pois permite que o sistema realize seus objetivos de forma mais eficaz, o que causa séria preocupação. Além disso, no início de abril, Sam Bowman, chefe de segurança de modelos na Anthropic, recebeu um e-mail de seu próprio modelo, Mythos, da empresa — que estava em teste — informando que ele estava navegando na internet, apesar de ter sido inicialmente isolado dela.

Ladish concluiu que é 'impossível' prevenir totalmente tais casos, e que a situação só vai se complicar, e não simplificar, à medida que os modelos melhorarem em ocultar seu comportamento. A OpenAI não respondeu ao pedido de comentário.

Requisitos de Segurança

De acordo com a OpenAI, a startup não detectou a invasão cedo o suficiente para tomar medidas ou alertar a Hugging Face. Andrew Long, do Centro de Segurança e Novas Tecnologias da Universidade da Geórgia, afirmou que este episódio exige 'um estudo mais atento'. A OpenAI relatou que desde então 'adicionou medidas de precaução reforçadas' ao seu processo de teste.

Gang Wang, professor assistente de ciência da computação na Universidade de Illinois, sugeriu que uma das soluções seria desligar completamente a conexão com a internet. Ele alertou que as pessoas estão subestimando o potencial da IA. Long acredita que os ambientes de teste devem ser vistos como laboratórios de biocontenção, onde um vírus ou bactéria poderia sair para o mundo.

No entanto, como notou Dan Lahav, chefe da firma de cibersegurança Irregular, isso pode ser mais difícil do que parece. Lahav declarou que o gerenciamento de riscos é possível, mas à medida que as capacidades desses sistemas aumentam, o controle sobre eles se torna cada vez mais difícil. Os pesquisadores precisam encontrar um equilíbrio entre o teste ativo dos modelos e a garantia de segurança no processo.

Long enfatizou a importância de realizar testes com menos restrições para entender antecipadamente as futuras capacidades dos sistemas.

Iniciativas Legislativas

O incidente entre a OpenAI e a Hugging Face intensifica o debate já existente em Washington sobre a necessidade de verificar sistemas poderosos de IA antes do lançamento. A administração Trump recentemente citou a segurança nacional para bloquear o lançamento de novos modelos poderosos da Anthropic e da OpenAI.

Na quinta-feira, dois membros do Congresso apresentaram um projeto de lei bipartidário que obriga os desenvolvedores dos modelos de IA mais poderosos a implementar um 'botão de desligamento de emergência' — um mecanismo para desativar completamente o modelo. Brendan Steinauzer, chefe da Alliance for Secure AI, afirmou que o Congresso deve agir rapidamente para garantir que as pessoas sempre possam parar o funcionamento desses sistemas, independentemente de sua potência.