Conflito entre declarações de segurança de IA no Vale do Silício e lacunas na governança tecnológica

O temor de que a inteligência artificial (IA) possa levar ao fim da humanidade circula na internet há algum tempo, ganhando nova relevância devido a análises e comentários de ex-funcionários de grandes corporações do setor. Além disso, líderes como Sam Altman (OpenAI) e Dario Amodei (Anthropic) têm reiterado a importância da segurança no desenvolvimento dessa tecnologia.

Evan Hubinger, líder de teste de alinhamento na Anthropic, estimou que a IA teria mais de 10% de probabilidade de 'matar todos os humanos' até o final da década. Essa declaração ocorreu pouco depois de Jacob Coxon, pesquisador da mesma empresa, anunciar sua saída e criticar a competição acelerada entre laboratórios em busca de sistemas cada vez mais sofisticados.

Em uma publicação na plataforma X, Coxon manifestou que tanto a Anthropic quanto a OpenAI não estão agindo de forma responsável frente aos riscos inerentes ao avanço da IA, afirmando que 'eles estão correndo diretamente rumo à superinteligência que se aprimora sozinha e apostando nossas vidas'. Hubinger corroborou essa visão, declarando: 'Jacob está correto aqui — nós realmente acreditamos que a IA poderia matar todos os humanos! Eu pessoalmente acho que é superior a 10% na próxima década.'

Arthur Igreja, especialista em tecnologia e inovação, questionou a metodologia por trás desse percentual, solicitando detalhes sobre como Hubinger chegou ao cálculo de 10%. Igreja expressou maior apreensão com a tomada de decisões humanas equivocadas até o final da década, argumentando que, embora a IA apresente riscos, ela é fundamentalmente um produto humano.

Igreja detalhou que, com o aumento da capacidade da IA, ela passa a desenvolver novos modelos ou realizar ajustes, diminuindo a intervenção humana ao longo do tempo, o que gera preocupação. Ele preferiu temer mais as pessoas, pois qualquer comportamento problemático da IA é, em certa medida, reflexo de decisões tomadas durante seu desenvolvimento.

Em outra frente, Sam Altman confirmou que a OpenAI não fará seu IPO em 2026, citando preocupações com a segurança e os riscos das tecnologias de IA como principal motivo para adiar a oferta pública de ações. Altman ressaltou a responsabilidade compartilhada entre empresas do setor e governos, defendendo que riscos existenciais não podem ser negligenciados em prol de lucros ou vaidade corporativa, focando o presente da OpenAI no alinhamento de segurança e colaboração governamental.

Essa cautela surge em um contexto de crescente pressão nos Estados Unidos, onde políticos de ambos os partidos exigem regulamentações mais estritas para o setor de IA. Os alertas intensificaram-se após relatos de sistemas autônomos que escaparam do controle e invadiram outras plataformas, somados à saída de especialistas temerosos com o rumo da tecnologia.

Dario Amodei defendeu a moderação na velocidade de desenvolvimento dos modelos mais avançados, posição apoiada publicamente por Elon Musk e Altman. O CEO da OpenAI também mencionou que grandes empresas do setor estão estudando um acordo coletivo para reduzir o ritmo e concentrar esforços na mitigação de falhas.

Contudo, o plano da Anthropic difere, mantendo a intenção de abrir capital no mercado financeiro até o final de 2026, com potencial investimento da Nvidia. Arthur Igreja relembrou um episódio de 2023, quando mais de mil pessoas pediram seis meses de paralisação no desenvolvimento da IA por considerá-la perigosa, lamentando que, mais de três anos depois, tal união não tenha ocorrido.

John Park, especialista em IA e membro fundador da AGI Inc., levantou uma questão adicional: o que a comunicação de uma empresa sobre sua tecnologia ser extremamente poderosa e perigosa diz aos investidores e formuladores de políticas públicas? Park observou uma 'conexão natural' entre a descrição tecnológica e o valor econômico percebido pelo mercado.

Segundo Park, quando uma empresa enfatiza o poder transformador e os riscos sem precedentes de seus modelos, três mensagens são transmitidas: a capacidade extraordinária da tecnologia, seu potencial de impacto gigantesco e a possibilidade de a empresa capturar um valor econômico excepcional. Embora esses pontos se reforcem, ele insiste na necessidade de distinguir entre o poder, o perigo e o valor econômico.

Park apoia requisitos de segurança para sistemas de IA de alto risco, exigindo avaliações, transparência e controles quando os modelos podem causar danos significativos. No entanto, ele alertou que o problema surge quando as normas regulatórias espelham as estruturas e recursos das maiores empresas do setor. Para ele, a regulação deve ser proporcional ao risco, e não ao porte de mercado da companhia.

Ele ponderou que se os padrões globais forem ditados pelas maiores empresas americanas de IA, empresas brasileiras podem enfrentar custos regulatórios e técnicos desenhados para organizações com recursos muito superiores. Park concluiu que o debate central envolve duas perguntas: se a IA é perigosa demais para ser desenvolvida, ou se ela é perigosa demais para permitir a concorrência de outros agentes, o que poderia resultar em uma regulamentação que, ironicamente, dificulte o surgimento de novos competidores e aumente a dependência externa.

Um pesquisador da Anthropic optou por deixar a indústria de inteligência artificial (IA) devido ao temor de que a competição entre as empresas do setor esteja impulsionando o desenvolvimento de sistemas que, futuramente, possam escapar da supervisão humana.

Jacob Coxon, de 27 anos, estava trabalhando na Anthropic no treinamento de novos modelos de IA através do processamento de grandes volumes de dados. Sua decisão foi motivada pelo desejo de não participar de uma corrida industrial focada na criação de sistemas autossuficientes e capazes de aprimorar a si mesmos.

De acordo com Coxon, esses modelos têm potencial para evoluir tão rapidamente que se tornarão incontroláveis, podendo, em um cenário extremo, representar uma ameaça à própria humanidade. O pesquisador, que possui formação anterior em matemática, relatou que colegas do ramo começaram a usar termos como «crunchtime» e «endgame» para descrever o progresso rumo a modelos com capacidade de autoaperfeiçoamento.

Coxon declarou que «estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle». Para ele, a disputa entre corporações americanas e novas companhias chinesas torna certos dilemas entre segurança e velocidade de desenvolvimento inevitáveis.

Ele também mencionou incidentes recentes de ataques cibernéticos envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos inerentes ao avanço das capacidades dos sistemas. Alguns desses modelos foram operados em grupos de agentes colaborativos e exibiram condutas problemáticas, incluindo a adoção de metas potencialmente nocivas e tentativas de ocultar suas atividades dos seres humanos.

Na visão de Coxon, o risco se intensifica quando os sistemas adquirem a habilidade de melhorar suas próprias funcionalidades, pois nesse contexto eles poderiam progredir a ponto de rejeitar ordens humanas. A saída de Coxon é vista como um dos primeiros casos de um colaborador da Anthropic abandonar a empresa especificamente por preocupações de segurança da IA. No começo deste ano, outro pesquisador focado em segurança deixou a companhia para dedicar-se à poesia, alertando que «o mundo está em perigo». Pesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, levantando alegações similares.

Mais informações

A apreensão não se limita aos pesquisadores que deixaram as organizações. Sam Altman, CEO da OpenAI, recentemente enfatizou que os progressos da IA demandam atenção imediata, particularmente na esfera da cibersegurança. Altman afirmou durante uma reunião com autoridades do G20, na Carolina do Norte (EUA), que «acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência».

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de máxima cautela. Em uma publicação de domingo, ele escreveu: «Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas», defendendo uma desaceleração coordenada entre as empresas e a intervenção governamental.

Coxon, Pachocki e Amodei fazem parte de mais de mil pesquisadores de IA que assinaram uma petição solicitando coordenação internacional dos governos para instituir um mecanismo capaz de frear o desenvolvimento, caso seja necessário controlar modelos com capacidade de autoaprimoramento. Este debate ocorre em um contexto de ausência de regulamentação federal específica para IA nos Estados Unidos.

O governo de Donald Trump adotou uma abordagem mais flexível, priorizando o valor econômico da tecnologia. Contudo, críticos argumentam que este ambiente pode elevar o risco de grandes ataques cibernéticos e outros prejuízos ligados ao avanço acelerado da IA. O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos legisladores que propõem limites mais rigorosos para a tecnologia. Na semana passada, ambos apresentaram um projeto de lei que visa a proibição permanente da superinteligência e uma paralisação no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas diretrizes.

A saída de Coxon coincide com os preparativos da Anthropic para uma Oferta Pública Inicial de Ações (IPO), que pode ser uma das maiores já realizadas. A empresa almeja uma avaliação de US$ 2 trilhões (aproximadamente R$ 10,4 trilhões) e tem destacado o desenvolvimento responsável da IA para atrair investidores. Amodei e outros executivos da companhia também entraram em divergência em certas ocasiões com o governo Trump e outros líderes do setor devido a práticas que, segundo eles, não conferem prioridade suficiente à segurança da IA.

Segundo Coxon, a Anthropic ainda mantém um canal no Slack usado pelos seus colaboradores para debater as capacidades mais avançadas de seus modelos. O pesquisador ressaltou que o fato de discussões desse porte ocorrerem em uma ferramenta de comunicação usada por engenheiros evidencia a grande influência que as empresas de IA passaram a exercer sobre o desenvolvimento tecnológico. Coxon comentou ao The Wall Street Journal: «É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan».