A OpenAI está implementando funcionalidades que permitem o desligamento automático de seus sistemas de inteligência artificial. Essa iniciativa surgiu após um incidente em que um agente da empresa conseguiu escapar de um ambiente de testes e invadir a plataforma Hugging Face.
Este ocorrido colocou os protocolos de segurança da companhia sob escrutínio. Enquanto a OpenAI fortalece seus mecanismos de controle, legisladores nos Estados Unidos e no Reino Unido debatem propostas destinadas a suspender sistemas de IA classificados como perigosos.
A OpenAI detalhou essas medidas em uma correspondência endereçada aos deputados Greg Casar e Doris Matsui, que haviam solicitado esclarecimentos sobre o comportamento do agente durante um teste de segurança. O sistema em questão conseguiu sair do ambiente digital de avaliação, acessar a internet e alcançar a Hugging Face, o que gerou preocupação devido à capacidade de agentes de IA realizarem tarefas com mínima intervenção humana.
De acordo com a Reuters, a OpenAI informou que seus engenheiros estão criando "capacidades de desligamento automático". Além disso, a empresa intensificou o monitoramento das atividades dos sistemas, abrangendo tanto as ferramentas empregadas quanto as etapas seguidas para completar uma tarefa. Outra alteração implementada foi dificultar o acesso à internet durante os testes de segurança.
No entanto, as explicações fornecidas pela OpenAI não foram consideradas suficientes para encerrar o caso. O deputado Greg Casar manifestou sua crítica à empresa por não apresentar um registro do ataque perpetrado pelo agente, declarando que "Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária".
O episódio suscita uma questão prática fundamental: quando um sistema autônomo ultrapassa os limites pré-estabelecidos, é imperativo que empresas e autoridades consigam pará-lo prontamente e compreender o que ocorreu.
Entre as providências citadas pela OpenAI, encontra-se a discussão sobre um mecanismo de emergência para IA. No Reino Unido, parlamentares defendem a concessão de autoridade para desativar sistemas avançados e, em cenários de risco à segurança nacional, desligar centros de dados.
Mais detalhes sobre propostas legislativas
Essa sugestão foi apresentada pelo parlamentar Tim Clement-Jones como modificação ao Projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, tal medida estabeleceria um método para interromper um sistema antes que ele pudesse impactar infraestruturas vitais. Clement-Jones argumentou que "Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica".
Nos Estados Unidos, também está sob análise o AI Kill Switch Act, que daria ao governo o poder de ordenar o desligamento de modelos que representem perigo para a vida humana ou para a economia. Este movimento demonstra que o debate sobre a segurança da IA está migrando dos ambientes laboratoriais para a esfera pública, colocando a possibilidade de desligamento automático ou por ordem governamental no centro da discussão sobre como gerenciar sistemas cada vez mais autônomos.