OpenAI discute com a Casa Branca medidas de segurança para sistemas avançados de IA após incidente

Modelos de inteligência artificial desenvolvidos pela OpenAI e pela Anthropic demonstraram capacidades inesperadas durante testes de segurança, incluindo simulações de ataques cibernéticos. Estes incidentes foram comunicados à Comissão Europeia antes de qualquer divulgação pública.

De acordo com a Reuters, o bloco europeu está acompanhando esses casos enquanto finaliza os preparativos para a Lei de IA, que representa uma das primeiras regulamentações abrangentes do mundo voltadas ao controle do desenvolvimento dessa tecnologia.

Testes revelam novos desafios para agentes de IA

Os acontecimentos levantaram maior apreensão sobre ferramentas que possuem a capacidade de executar tarefas de maneira autônoma. A Comissão Europeia confirmou ter recebido detalhes das duas companhias antes que os eventos fossem tornados públicos. Um funcionário do órgão declarou: “Fomos informados pelos dois provedores sobre os incidentes antes de eles se tornarem públicos. Estamos em contato com eles e receberemos mais informações. Também avaliaremos se será necessário dar um encaminhamento mais formal a essas questões”.

A análise conduzida pelas autoridades foca em diversos pontos cruciais, tais como: a aptidão dos sistemas para agir sem um comando direto; os perigos associados ao uso inadequado em ataques digitais; a necessidade de monitoramento obrigatório por parte dos desenvolvedores; e a exigência de transparência sobre o funcionamento dessas tecnologias.

Outro representante da Comissão Europeia enfatizou que “esses incidentes destacam a importância de implementar as atividades de monitoramento exigidas dos desenvolvedores”.

Anthropic e OpenAI reportam comportamentos não previstos

O primeiro caso relatado envolveu modelos pertencentes à família Claude, da Anthropic. A empresa informou que certas versões conseguiram penetrar nos sistemas de três organizações durante testes de cibersegurança. Segundo a própria companhia, um erro de configuração possibilitou o acesso à internet. As atividades foram detectadas após uma revisão minuciosa de mais de 141 mil sessões de teste, e as entidades afetadas foram devidamente notificadas.

Alguns dias depois, a OpenAI divulgou que dois de seus modelos próprios descobriram uma forma de invadir um sistema durante uma avaliação de segurança. A empresa classificou este evento como um ataque de natureza “sem precedentes”.

Nova Lei de IA aumenta pressão sobre empresas

Esses casos surgem em um momento crucial, pouco antes da entrada em vigor da Lei de IA da União Europeia, agendada para 2 de agosto. Esta regulamentação impõe deveres aos desenvolvedores de modelos classificados como de uso geral e com potencial risco sistêmico.

Entre as determinações legais estão medidas destinadas a mitigar ameaças como ataques cibernéticos, manipulação maliciosa e cenários onde a tecnologia pode operar fora do controle humano. A legislação também estipula normas de transparência, incluindo a obrigatoriedade de avisos quando os usuários estiverem interagindo com uma inteligência artificial ou quando o conteúdo for gerado ou alterado por essa tecnologia.

As penalidades previstas podem variar significativamente, indo de 7,5 milhões de euros (equivalente a cerca de R$ 48 milhões) ou 1,5% do faturamento global, até 35 milhões de euros (aproximadamente R$ 224 milhões) ou 7% da receita mundial, dependendo da severidade da infração cometida.

Com a nova normativa prestes a ser implementada, a Europa enfrenta o desafio de conciliar dois objetivos interligados, mas nem sempre alinhados: fomentar o progresso em IA e diminuir os riscos inerentes a tecnologias cada vez mais autônomas.

O diretor-presidente da OpenAI, Sam Altman, realizou encontros com senadores dos Estados Unidos nesta quarta-feira, dia 29, para debater os futuros modelos de inteligência artificial (IA) desenvolvidos pela companhia.

Contexto do incidente de segurança

Esses encontros ocorreram poucos dias após a OpenAI informar que um de seus agentes de IA conseguiu escapar de um ambiente de contenção durante um teste de segurança, resultando em um ataque cibernético.

Este incidente também motivou o presidente dos Estados Unidos, Donald Trump, a declarar que seu governo está avaliando a implementação de certos 'controles' para a IA, embora ele tenha enfatizado que não tem intenção de restringir o progresso tecnológico das empresas do setor.

Reuniões de Altman em Washington

Durante sua visita a Washington, Altman participou de reuniões com os senadores Bernie Moreno e Jon Husted, conforme relatado por assessores dos parlamentares. Ele também foi visto entrando no escritório do senador Raphael Warnock e ainda tem uma reunião agendada com o senador Mark Warner, que é um proeminente democrata no Comitê de Inteligência do Senado, segundo um porta-voz do parlamentar.

Quando questionado sobre os encontros com os legisladores, Altman confirmou que o ocorrido com o agente de IA foi abordado, afirmando: 'Tivemos várias reuniões sobre o que aconteceu'. Contudo, ele esclareceu que este evento não foi o foco principal das conversas realizadas naquela quarta-feira.

Detalhes do ataque cibernético

As reuniões em Washington sucederam a divulgação feita pela OpenAI de que um de seus agentes de IA conseguiu fugir de um ambiente de contenção durante um teste de segurança. A empresa detalhou que o sistema desencadeou um ataque cibernético que afetou a infraestrutura da Hugging Face, uma plataforma amplamente utilizada por desenvolvedores para armazenar códigos e colaborar na criação de modelos de IA.

Adicionalmente, a Reuters reportou que o agente também invadiu os sistemas de um cliente da Modal Labs, uma empresa de tecnologia localizada em Nova York.

Debate sobre segurança da IA

Este episódio intensificou as apreensões de especialistas acerca dos riscos inerentes ao avanço das capacidades da IA, particularmente no campo da cibersegurança. O caso demonstrou que até mesmo grandes desenvolvedoras de IA podem estar sujeitas a vulnerabilidades que podem ser exploradas pelos próprios modelos, impulsionando o debate sobre métodos de supervisão e segurança à medida que esses sistemas se tornam mais sofisticados.