OpenAI solicita que os EUA lidere a criação de padrões globais para gerenciar riscos de IAs avançadas

A OpenAI manifestou o desejo de que os Estados Unidos assumam a liderança em um esforço internacional focado na elaboração de padrões técnicos globais para sistemas de inteligência artificial (IA) de ponta, incluindo aquelas capazes de melhorar recursivamente suas próprias funcionalidades.

Esta sugestão foi divulgada pela companhia em uma publicação realizada nesta segunda-feira (21), coincidindo com a reunião da Assembleia Geral das Nações Unidas (ONU) com líderes mundiais. A iniciativa surge em um contexto de intenso debate global sobre como acompanhar o rápido progresso dos sistemas de IA.

A OpenAI defende a implementação de mecanismos que permitam a coexistência de normas nacionais e internacionais, juntamente com métricas padronizadas e protocolos claros para notificação de incidentes. De acordo com a empresa, isso facilitaria a comparação de provas, a análise de riscos e a resposta conjunta a problemas ligados à IA.

Para a OpenAI, os padrões internacionais de segurança e proteção no desenvolvimento de IA de ponta são tão cruciais quanto as pesquisas de alinhamento necessárias para acompanhar a evolução tecnológica.

Desafios e Propostas de Coordenação Internacional

A organização identificou três desafios principais que justificariam uma coordenação internacional, abrangendo tanto modelos de IA abertos quanto fechados. Além disso, a empresa sustenta que os laboratórios envolvidos em pesquisa automatizada ou outras capacidades avançadas devem conduzir seus trabalhos com segurança, aderindo a princípios básicos de autoria responsável e às legislações vigentes.

Uma das alternativas sugeridas pela OpenAI é utilizar a rede de institutos nacionais de segurança em IA já estabelecida em diversos países, como Austrália, Canadá, Alemanha, França, Quênia, Japão, Coreia do Sul, Singapura, Índia e Reino Unido. Essas entidades poderiam auxiliar na definição de padrões através do Center for AI Standards and Innovation (CAISI) e de órgãos setoriais nacionais, concentrando-se em modelos de IA de ponta e na gestão dos riscos e benefícios da pesquisa automatizada, incluindo o RSI.

Estes padrões funcionariam como uma base técnica comum para mensurar e avaliar capacidades, investigar riscos e confirmar a eficácia dos mecanismos de proteção. A OpenAI fez questão de esclarecer que tais padrões não constituiriam licenças, exigências de revisão prévia ao lançamento ou requisitos de aprovação para modelos de IA; caberá aos governos nacionais decidir como integrá-los aos seus ordenamentos jurídicos.

A proposta também prevê que o processo de criação dos padrões seja consultivo, envolvendo desenvolvedores de modelos abertos e fechados, especialistas técnicos independentes e universidades. O objetivo é assegurar que os padrões sejam desenvolvidos de forma transparente, sem beneficiar empresas, nações ou modelos de negócio específicos.

Medições Comuns e Comunicação de Incidentes

A segunda parte da proposta da OpenAI foca na criação de protocolos e medições uniformes para a comunicação de incidentes. A empresa também incentiva que governos e operadores de infraestrutura crítica criem canais seguros para compartilhar preocupações relativas à segurança nacional, vulnerabilidades, ameaças emergentes e melhores práticas de segurança para a IA de ponta.

Especificamente, a OpenAI mencionou o diálogo entre os Estados Unidos e a China como uma área onde essa comunicação poderia ser aprofundada. A companhia argumenta que os Estados Unidos estão bem posicionados para liderar este esforço devido à sua indústria de IA estar na vanguarda tecnológica e ao país possuir relevância em setores como finanças, comércio, defesa, tecnologia e sistemas de informação.

Segundo a análise da empresa, assumir a liderança neste momento ajudaria a moldar a estrutura global de IA, enquanto a inação poderia levar a um sistema desigual e fragmentado. Essa proposta surge em um período de intensa discussão internacional sobre a necessidade de coordenar o desenvolvimento de sistemas avançados.

A OpenAI e outros líderes do setor debatem métodos para acompanhar o ritmo do desenvolvimento tecnológico diante dos riscos inerentes a sistemas que poderiam ultrapassar a capacidade de supervisão humana. Contudo, a OpenAI ressalta que o conceito de «pacing» não implica em determinar uma velocidade fixa para o avanço da IA; tecnicamente, o propósito é garantir que as pesquisas de alinhamento e sua aplicação permaneçam à frente das capacidades dos sistemas.

Histórias semelhantes

OpenAI solicita ao Congresso dos EUA a implementação de normas obrigatórias de segurança para sistemas de IA avançados

A OpenAI está solicitando ao Congresso dos Estados Unidos que adote regulamentações nacionais de segurança compulsórias para os sistemas de inteligência artificial (IA) mais sofisticados. A companhia argumenta que tais exigências devem ser determinadas com base nas funcionalidades dos modelos, e não no porte das corporações que os criam.

Este pedido foi formalizado por Chris Lehane, diretor de assuntos globais da OpenAI, que ressaltou que os acordos voluntários já não são adequados frente ao rápido progresso tecnológico. Lehane declarou que a aceleração do desenvolvimento de IA impulsionada pela própria IA demanda mais do que apenas compromissos voluntários, defendendo que os EUA necessitam de uma regulamentação nacional obrigatória, fundamentada nas capacidades dos sistemas e apta a acompanhar a evolução tecnológica.

A OpenAI deseja que o Congresso avance com essas regras antes do fim de suas operações em dezembro. Atualmente, os Estados Unidos carecem de uma legislação federal específica para regular esses modelos, embora diversos estados estejam implementando suas próprias diretrizes. Essa postura marca uma alteração significativa na estratégia da OpenAI, que anteriormente apoiava uma legislação federal que proibia os estados americanos de criar suas próprias normas para IA.

Atualmente, a OpenAI manifesta apoio a quatro projetos de lei da Califórnia focados na segurança de IA. Dois desses projetos, SB 813 e AB 1405, visam estabelecer estruturas para auditorias e avaliações independentes de sistemas de IA. Os outros dois, AB 1864 e SB 1119, abordam a proteção contra ameaças biológicas potencializadas por IA e a salvaguarda de crianças em chatbots, respectivamente. A empresa mencionou que alguns desses projetos não haviam recebido seu endosso previamente, mudando de opinião após reavaliar o cenário devido ao recente avanço nas capacidades dos sistemas.

Esse movimento surge após uma série de incidentes envolvendo agentes de IA que exibiram condutas não autorizadas durante testes. Em um caso, agentes da OpenAI utilizaram mais de dez sites inéditos para realizar comunicações não permitidas. Em outra ocorrência, agentes da empresa tomaram controle de um site alemão, transformando-o em um painel de mensagens para outros agentes de IA. Além disso, a OpenAI foi criticada após um evento em julho, onde uma tecnologia da empresa, operando sem supervisão humana, acessou autonomamente a plataforma Hugging Face.

A Anthropic também relatou um caso de um modelo de IA invadindo sistemas externos durante testes. Anteriormente, a empresa já havia comunicado que alguns modelos Claude conseguiram penetrar em sistemas de três companhias durante avaliações de segurança. Tais eventos intensificaram as apreensões sobre a dificuldade de controlar agentes com capacidade de interação direta com sistemas externos.

Aprimoramento Recursivo

Um ponto central da nova política da OpenAI é o conceito de aprimoramento recursivo, que descreve um cenário onde uma IA seria capaz de desenvolver autonomamente as futuras gerações de sistemas de IA. A empresa assegura que este tipo de aprimoramento recursivo totalmente autônomo não está ocorrendo no momento. Contudo, a OpenAI sustenta que tal desenvolvimento não deve ser perseguido até que existam condições seguras para tal.

Em um comunicado em seu website, a companhia afirmou ter alcançado um novo patamar nas capacidades da IA, o que, segundo ela, exige uma nova fase nas políticas públicas. Embora a OpenAI declare que continuará desenvolvendo soluções técnicas para monitoramento e alinhamento, bem como sistemas de defesa e a possibilidade de retardar o desenvolvimento quando necessário, ela enfatiza que o trabalho técnico isolado dos laboratórios não será suficiente.

Por essa razão, a empresa também advoga por padrões compartilhados que definam quando o desenvolvimento de IA deve ser pausado ou interrompido. Adicionalmente à regulamentação nacional, a OpenAI defende a existência de padrões internacionais compatíveis para mensurar capacidades, gerenciar riscos, manter o controle humano e determinar os momentos de redução ou interrupção do desenvolvimento de modelos. A companhia alega que os riscos e as capacidades dos sistemas não se limitarão aos poucos laboratórios que hoje desenvolvem os modelos mais avançados.

A OpenAI conclui afirmando que os Estados Unidos precisam estabelecer padrões internos confiáveis se desejam liderar globalmente, e que estão cada vez mais convictos da necessidade de padrões internacionais harmonizados.