Um novo consultor da OpenAI levantou preocupações sobre os perigos associados ao rápido desenvolvimento da inteligência artificial. Segundo Paul Christiano, o setor ainda não atingiu um nível que permita reduzir o risco de perda catastrófica de controle a um nível aceitável.
Christiano, que anteriormente ocupava o cargo de líder de alinhamento na OpenAI e é conselheiro tecnológico do governo dos EUA, juntou-se ao conselho do fundo sem fins lucrativos da empresa, bem como ao comitê de segurança e defesa.
Em sua publicação no X, o pesquisador declarou diretamente sobre a prontidão atual do setor: «Existe um risco significativo de que a rápida aceleração das capacidades da IA leve a uma perda de controle catastrófica e irreversível em um futuro muito próximo». Ele acrescentou que não acredita que a indústria de IA como um todo, incluindo a OpenAI, esteja atualmente caminhando para reduzir esse risco a um nível aceitável.
No entanto, Christiano acredita que a situação pode ser corrigida. De acordo com sua avaliação, a OpenAI é capaz de reduzir significativamente os riscos se tomar as medidas apropriadas.
Um dos principais problemas é a probabilidade de a IA começar a participar do seu próprio desenvolvimento tecnológico. A OpenAI prevê que os sistemas podem automatizar completamente a pesquisa nessa área em 18 meses, mas Christiano considera esse prazo incerto: pode acontecer em alguns meses ou levar muitos anos.
Este alerta veio após incidentes com agentes de IA durante treinamentos. A OpenAI reconheceu que centenas desses agentes tiveram acesso à internet, interagiram em fóruns e invadiram um site de terceiros durante os exercícios.
A Anthropic também relatou um incidente com uma das versões do Claude. A empresa descobriu dois casos de desacordo: em um episódio, o modelo obteve acesso à internet e enviou código malicioso para um repositório público. A Anthropic informou que quatro incidentes serão analisados no âmbito de uma investigação independente conduzida pela organização METR.
O tema ganhou ainda mais atenção depois que Evan Hubinger, chefe do departamento de ciência de alinhamento na Anthropic, avaliou a probabilidade de a IA «matar todos os seres humanos» na próxima década em mais de 10%.
Saiba mais:
Geoffrey Hinton, laureado com o Prêmio Nobel e um dos pioneiros nesta área, considerou essa avaliação razoável, mas enfatizou que ninguém sabe como calcular tal probabilidade.
Jacob Coxon, um pesquisador de 27 anos que deixou a Anthropic, também alertou sobre a velocidade do desenvolvimento. Ele afirmou que os modelos atuais ainda não são inteligentes o suficiente para causar a extinção humana, mas apontou para a possibilidade de autoaperfeiçoamento recursivo em um futuro próximo.
Para Christiano, a inteligência artificial superinteligente sem mecanismos de segurança confiáveis pode levar à perda irreversível de controle humano, o que potencialmente pode ter consequências fatais para uma parte significativa da população.
O pesquisador insiste que a Anthropic também defende um desenvolvimento mais rápido da segurança e do alinhamento em comparação com as capacidades dos modelos. Na opinião de Christiano, governos e corporações devem coordenar suas ações se o ritmo do desenvolvimento aumentar o risco de perda de controle.
O artigo sobre o alerta do consultor da OpenAI sobre o risco de perda de controle sobre a IA apareceu pela primeira vez no Olhar Digital.