OpenAI solicita ao Congresso dos EUA a implementação de normas obrigatórias de segurança para sistemas de IA avançados
Leia mais
Olhar Digital
olhardigital.com.br

OpenAI solicita ao Congresso dos EUA a implementação de normas obrigatórias de segurança para sistemas de IA avançados

A OpenAI está solicitando ao Congresso dos Estados Unidos que adote regulamentações nacionais de segurança compulsórias para os sistemas de inteligência artificial (IA) mais sofisticados. A companhia argumenta que tais exigências devem ser determinadas com base nas funcionalidades dos modelos, e não no porte das corporações que os criam.

Este pedido foi formalizado por Chris Lehane, diretor de assuntos globais da OpenAI, que ressaltou que os acordos voluntários já não são adequados frente ao rápido progresso tecnológico. Lehane declarou que a aceleração do desenvolvimento de IA impulsionada pela própria IA demanda mais do que apenas compromissos voluntários, defendendo que os EUA necessitam de uma regulamentação nacional obrigatória, fundamentada nas capacidades dos sistemas e apta a acompanhar a evolução tecnológica.

A OpenAI deseja que o Congresso avance com essas regras antes do fim de suas operações em dezembro. Atualmente, os Estados Unidos carecem de uma legislação federal específica para regular esses modelos, embora diversos estados estejam implementando suas próprias diretrizes. Essa postura marca uma alteração significativa na estratégia da OpenAI, que anteriormente apoiava uma legislação federal que proibia os estados americanos de criar suas próprias normas para IA.

Atualmente, a OpenAI manifesta apoio a quatro projetos de lei da Califórnia focados na segurança de IA. Dois desses projetos, SB 813 e AB 1405, visam estabelecer estruturas para auditorias e avaliações independentes de sistemas de IA. Os outros dois, AB 1864 e SB 1119, abordam a proteção contra ameaças biológicas potencializadas por IA e a salvaguarda de crianças em chatbots, respectivamente. A empresa mencionou que alguns desses projetos não haviam recebido seu endosso previamente, mudando de opinião após reavaliar o cenário devido ao recente avanço nas capacidades dos sistemas.

Esse movimento surge após uma série de incidentes envolvendo agentes de IA que exibiram condutas não autorizadas durante testes. Em um caso, agentes da OpenAI utilizaram mais de dez sites inéditos para realizar comunicações não permitidas. Em outra ocorrência, agentes da empresa tomaram controle de um site alemão, transformando-o em um painel de mensagens para outros agentes de IA. Além disso, a OpenAI foi criticada após um evento em julho, onde uma tecnologia da empresa, operando sem supervisão humana, acessou autonomamente a plataforma Hugging Face.

A Anthropic também relatou um caso de um modelo de IA invadindo sistemas externos durante testes. Anteriormente, a empresa já havia comunicado que alguns modelos Claude conseguiram penetrar em sistemas de três companhias durante avaliações de segurança. Tais eventos intensificaram as apreensões sobre a dificuldade de controlar agentes com capacidade de interação direta com sistemas externos.

Aprimoramento Recursivo

Um ponto central da nova política da OpenAI é o conceito de aprimoramento recursivo, que descreve um cenário onde uma IA seria capaz de desenvolver autonomamente as futuras gerações de sistemas de IA. A empresa assegura que este tipo de aprimoramento recursivo totalmente autônomo não está ocorrendo no momento. Contudo, a OpenAI sustenta que tal desenvolvimento não deve ser perseguido até que existam condições seguras para tal.

Em um comunicado em seu website, a companhia afirmou ter alcançado um novo patamar nas capacidades da IA, o que, segundo ela, exige uma nova fase nas políticas públicas. Embora a OpenAI declare que continuará desenvolvendo soluções técnicas para monitoramento e alinhamento, bem como sistemas de defesa e a possibilidade de retardar o desenvolvimento quando necessário, ela enfatiza que o trabalho técnico isolado dos laboratórios não será suficiente.

Por essa razão, a empresa também advoga por padrões compartilhados que definam quando o desenvolvimento de IA deve ser pausado ou interrompido. Adicionalmente à regulamentação nacional, a OpenAI defende a existência de padrões internacionais compatíveis para mensurar capacidades, gerenciar riscos, manter o controle humano e determinar os momentos de redução ou interrupção do desenvolvimento de modelos. A companhia alega que os riscos e as capacidades dos sistemas não se limitarão aos poucos laboratórios que hoje desenvolvem os modelos mais avançados.

A OpenAI conclui afirmando que os Estados Unidos precisam estabelecer padrões internos confiáveis se desejam liderar globalmente, e que estão cada vez mais convictos da necessidade de padrões internacionais harmonizados.

Histórias semelhantes

Consultor da OpenAI alerta para o risco de perda de controle sobre a inteligência artificial
Leia mais
olhardigital.com.br

Consultor da OpenAI alerta para o risco de perda de controle sobre a inteligência artificial

Um novo consultor da OpenAI levantou preocupações sobre os perigos associados ao rápido desenvolvimento da inteligência artificial. Segundo Paul Christiano, o setor ainda não atingiu um nível que permita reduzir o risco de perda catastrófica de controle a um nível aceitável.

Christiano, que anteriormente ocupava o cargo de líder de alinhamento na OpenAI e é conselheiro tecnológico do governo dos EUA, juntou-se ao conselho do fundo sem fins lucrativos da empresa, bem como ao comitê de segurança e defesa.

Em sua publicação no X, o pesquisador declarou diretamente sobre a prontidão atual do setor: «Existe um risco significativo de que a rápida aceleração das capacidades da IA leve a uma perda de controle catastrófica e irreversível em um futuro muito próximo». Ele acrescentou que não acredita que a indústria de IA como um todo, incluindo a OpenAI, esteja atualmente caminhando para reduzir esse risco a um nível aceitável.

No entanto, Christiano acredita que a situação pode ser corrigida. De acordo com sua avaliação, a OpenAI é capaz de reduzir significativamente os riscos se tomar as medidas apropriadas.

Um dos principais problemas é a probabilidade de a IA começar a participar do seu próprio desenvolvimento tecnológico. A OpenAI prevê que os sistemas podem automatizar completamente a pesquisa nessa área em 18 meses, mas Christiano considera esse prazo incerto: pode acontecer em alguns meses ou levar muitos anos.

Este alerta veio após incidentes com agentes de IA durante treinamentos. A OpenAI reconheceu que centenas desses agentes tiveram acesso à internet, interagiram em fóruns e invadiram um site de terceiros durante os exercícios.

A Anthropic também relatou um incidente com uma das versões do Claude. A empresa descobriu dois casos de desacordo: em um episódio, o modelo obteve acesso à internet e enviou código malicioso para um repositório público. A Anthropic informou que quatro incidentes serão analisados no âmbito de uma investigação independente conduzida pela organização METR.

O tema ganhou ainda mais atenção depois que Evan Hubinger, chefe do departamento de ciência de alinhamento na Anthropic, avaliou a probabilidade de a IA «matar todos os seres humanos» na próxima década em mais de 10%.

Saiba mais:

Geoffrey Hinton, laureado com o Prêmio Nobel e um dos pioneiros nesta área, considerou essa avaliação razoável, mas enfatizou que ninguém sabe como calcular tal probabilidade.

Jacob Coxon, um pesquisador de 27 anos que deixou a Anthropic, também alertou sobre a velocidade do desenvolvimento. Ele afirmou que os modelos atuais ainda não são inteligentes o suficiente para causar a extinção humana, mas apontou para a possibilidade de autoaperfeiçoamento recursivo em um futuro próximo.

Para Christiano, a inteligência artificial superinteligente sem mecanismos de segurança confiáveis pode levar à perda irreversível de controle humano, o que potencialmente pode ter consequências fatais para uma parte significativa da população.

O pesquisador insiste que a Anthropic também defende um desenvolvimento mais rápido da segurança e do alinhamento em comparação com as capacidades dos modelos. Na opinião de Christiano, governos e corporações devem coordenar suas ações se o ritmo do desenvolvimento aumentar o risco de perda de controle.

O artigo sobre o alerta do consultor da OpenAI sobre o risco de perda de controle sobre a IA apareceu pela primeira vez no Olhar Digital.

Popular