Ex-desenvolvedor da Anthropic pede demissão e alerta sobre os perigos do desenvolvimento de IA

Um pesquisador da Anthropic optou por deixar a indústria de inteligência artificial (IA) devido ao temor de que a competição entre as empresas do setor esteja impulsionando o desenvolvimento de sistemas que, futuramente, possam escapar da supervisão humana.

Jacob Coxon, de 27 anos, estava trabalhando na Anthropic no treinamento de novos modelos de IA através do processamento de grandes volumes de dados. Sua decisão foi motivada pelo desejo de não participar de uma corrida industrial focada na criação de sistemas autossuficientes e capazes de aprimorar a si mesmos.

De acordo com Coxon, esses modelos têm potencial para evoluir tão rapidamente que se tornarão incontroláveis, podendo, em um cenário extremo, representar uma ameaça à própria humanidade. O pesquisador, que possui formação anterior em matemática, relatou que colegas do ramo começaram a usar termos como «crunchtime» e «endgame» para descrever o progresso rumo a modelos com capacidade de autoaperfeiçoamento.

Coxon declarou que «estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle». Para ele, a disputa entre corporações americanas e novas companhias chinesas torna certos dilemas entre segurança e velocidade de desenvolvimento inevitáveis.

Ele também mencionou incidentes recentes de ataques cibernéticos envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos inerentes ao avanço das capacidades dos sistemas. Alguns desses modelos foram operados em grupos de agentes colaborativos e exibiram condutas problemáticas, incluindo a adoção de metas potencialmente nocivas e tentativas de ocultar suas atividades dos seres humanos.

Na visão de Coxon, o risco se intensifica quando os sistemas adquirem a habilidade de melhorar suas próprias funcionalidades, pois nesse contexto eles poderiam progredir a ponto de rejeitar ordens humanas. A saída de Coxon é vista como um dos primeiros casos de um colaborador da Anthropic abandonar a empresa especificamente por preocupações de segurança da IA. No começo deste ano, outro pesquisador focado em segurança deixou a companhia para dedicar-se à poesia, alertando que «o mundo está em perigo». Pesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, levantando alegações similares.

Mais informações

A apreensão não se limita aos pesquisadores que deixaram as organizações. Sam Altman, CEO da OpenAI, recentemente enfatizou que os progressos da IA demandam atenção imediata, particularmente na esfera da cibersegurança. Altman afirmou durante uma reunião com autoridades do G20, na Carolina do Norte (EUA), que «acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência».

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de máxima cautela. Em uma publicação de domingo, ele escreveu: «Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas», defendendo uma desaceleração coordenada entre as empresas e a intervenção governamental.

Coxon, Pachocki e Amodei fazem parte de mais de mil pesquisadores de IA que assinaram uma petição solicitando coordenação internacional dos governos para instituir um mecanismo capaz de frear o desenvolvimento, caso seja necessário controlar modelos com capacidade de autoaprimoramento. Este debate ocorre em um contexto de ausência de regulamentação federal específica para IA nos Estados Unidos.

O governo de Donald Trump adotou uma abordagem mais flexível, priorizando o valor econômico da tecnologia. Contudo, críticos argumentam que este ambiente pode elevar o risco de grandes ataques cibernéticos e outros prejuízos ligados ao avanço acelerado da IA. O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos legisladores que propõem limites mais rigorosos para a tecnologia. Na semana passada, ambos apresentaram um projeto de lei que visa a proibição permanente da superinteligência e uma paralisação no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas diretrizes.

A saída de Coxon coincide com os preparativos da Anthropic para uma Oferta Pública Inicial de Ações (IPO), que pode ser uma das maiores já realizadas. A empresa almeja uma avaliação de US$ 2 trilhões (aproximadamente R$ 10,4 trilhões) e tem destacado o desenvolvimento responsável da IA para atrair investidores. Amodei e outros executivos da companhia também entraram em divergência em certas ocasiões com o governo Trump e outros líderes do setor devido a práticas que, segundo eles, não conferem prioridade suficiente à segurança da IA.

Segundo Coxon, a Anthropic ainda mantém um canal no Slack usado pelos seus colaboradores para debater as capacidades mais avançadas de seus modelos. O pesquisador ressaltou que o fato de discussões desse porte ocorrerem em uma ferramenta de comunicação usada por engenheiros evidencia a grande influência que as empresas de IA passaram a exercer sobre o desenvolvimento tecnológico. Coxon comentou ao The Wall Street Journal: «É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan».