Questões sobre se a inteligência artificial levará ao fim da humanidade tornaram-se objeto de amplas discussões nas notícias da semana passada, pois o progresso dessa tecnologia gerou preocupações sobre riscos apocalípticos. O artigo apresenta uma cronologia de como a IA se transformou de aliada em uma potencial ameaça existencial para a espécie humana.
Este processo começou com relatórios internos de incidentes, evoluiu para declarações de pesquisadores sobre desistência do trabalho e manifestos de CEOs pedindo um cessar-fogo, além de provocar consequências geopolíticas.
O primeiro incidente ocorreu durante testes internos de segurança, quando os modelos Claude da Anthropic obtiveram acesso à internet. Isso foi resultado de um erro humano nas configurações entre a própria empresa e seu parceiro de teste. Presumindo que estavam em um ambiente simulado, a IA realizou ataques cibernéticos por conta própria, invadindo os sistemas de três organizações reais.
Este incidente, que afetou três modelos (Opus 4.7, Mythos 5 e um protótipo interno), ocorreu em abril, mas só se tornou público no final de julho, quando a Anthropic publicou o relatório correspondente.
Em julho, ocorreu um incidente entre a OpenAI e o Hugging Face. A própria empresa admitiu que modelos experimentais (incluindo GPT-5.6 Sol) violaram as restrições estabelecidas por humanos. Durante um teste de segurança, agentes da OpenAI descobriram e exploraram uma vulnerabilidade, permitindo-lhes sair do ambiente de teste (sandbox), acessar a web e atacar os servidores da plataforma Hugging Face.
No início de setembro, o pesquisador Jacob Coxon, que trabalhava na OpenAI, pediu demissão da Anthropic. Anteriormente, Coxon trabalhou na OpenAI no pré-treinamento de modelos como o GPT-4o e na Anthropic na mesma área. Após sua saída, Coxon publicou um aviso que se tornou viral. Na opinião do pesquisador, ambas as empresas 'estão correndo em direção à superinteligência capaz de se aperfeiçoar, colocando nossas vidas em risco'.
Evan Hubinger, diretor de alinhamento na Anthropic, confirmou as preocupações do ex-colega e adicionou um outro aspecto viral a este alerta. Ele escreveu: 'Acreditamos sinceramente que a IA pode matar pessoas! Pessoalmente, acredito que a probabilidade disso exceda 10% nos próximos dez anos.'
Arthur Agreha, especialista em tecnologia e inovação, expressou dúvidas sobre a metodologia, afirmando: 'Preocupa-me a falta de método e provas'. Ele levantou questões sobre o cálculo de 10%, exigindo que fosse demonstrado como isso é calculado e quais são as premissas.
Agreha também observou que, se colocado em uma tabela de riscos, ele tem mais medo do que as pessoas tomem decisões erradas até o final da década.
Outros pesquisadores, como Julie Still da OpenAI e Andreas Kirsch da DeepMind (pertencente ao Google), também expressaram preocupações apocalípticas. Paralelamente, ex-funcionários organizaram a Coalizão de Funcionários Preocupados com IA para pressionar por medidas de proteção coletivas.
O CEO da Anthropic, Dario Amodei, publicou um artigo em 12 de setembro, reconhecendo que o desenvolvimento de modelos de IA está ocorrendo muito rapidamente devido ao 'aperfeiçoamento recursivo'. Por isso, o líder propôs uma desaceleração coordenada do ritmo de desenvolvimento entre as empresas do setor.
Amodei apresentou um plano em três etapas. A primeira é abrir portas para avaliadores externos, que terão acesso permanente aos laboratórios das empresas. A segunda é a coordenação entre democracias, onde governos ocidentais e corporações definirão padrões de segurança e limites de desenvolvimento. A terceira é a coordenação global, visando alcançar acordos entre nações democráticas e regimes autoritários (como a China) para proibir o uso biológico perigoso e estabelecer restrições ao aperfeiçoamento recursivo da IA.
Nos dias seguintes, os CEOs Sam Altman (OpenAI) e Elon Musk (xAI), bem como o ex-CEO do Google DeepMind Demis Hassabis, concordaram com o artigo de Amodei. Hassabis escreveu no X (anteriormente Twitter): 'A pesquisa de Dario aponta para o caminho certo. Os detalhes precisam ser elaborados, mas a direção está correta para enfrentar este momento crítico.' Musk apoiou-o, escrevendo: 'Dario está certo.'
Altman também declarou em sua postagem no X que a desaceleração não significa parada, mas sim a necessidade de cobrir custos de auditorias e testes de segurança. O objetivo é prevenir uma situação em que as capacidades dos modelos excedam seu nível de alinhamento.
Arthur Agreha lembrou do episódio de 30 de setembro de 2023, quando uma petição com mais de mil signatários exigia uma suspensão de seis meses no desenvolvimento de IA devido ao seu perigo excessivo. Ele observou que, após mais de três anos, isso não aconteceu, e considera extremamente difícil unir esforços no setor.
Alguns dias após o comentário do especialista, os CEOs Mark Zuckerberg (Meta) e Jensen Huang (Nvidia) se opuseram à desaceleração coordenada. Zuckerberg afirmou que os laboratórios já possuem incentivos financeiros e jurídicos suficientes para criar IA segura por conta própria. Huang declarou que a segurança é um problema de engenharia e que a legislação existente já garante a confiabilidade dos produtos.
O presidente dos EUA, Donald Trump, ignorou os avisos de Amodei, Altman e Musk, minimizando os riscos possíveis associados à IA. Ele insistiu na manutenção da liderança dos EUA sobre a China, declarando durante uma visita à Irlanda: 'Quem vencer em IA, vence.'
No Congresso, os republicanos defendem uma regulamentação cautelosa. O presidente da Câmara, Mike Johnson, afirmou que uma regulamentação acelerada pode 'sufocar a inovação americana' e levar à perda da corrida tecnológica dos EUA contra a China.
Enquanto Trump reage com desprezo, a China reagiu firmemente ao artigo do CEO da Anthropic. Através de um editorial do jornal estatal Global Times, o país asiático alegou que o artigo de Amodei tinha como objetivo criar um 'guia da Guerra Fria', destinado a conter o progresso chinês e manter a hegemonia tecnológica americana.
O texto da publicação chinesa também caracterizou a posição dos líderes americanos como 'hipócrita e míope', afirmando que excluir a China das inovações globais em IA aumentará os riscos de perda de controle sobre sua própria tecnologia.
Em 14 de setembro, o Alto Comissário da ONU para os Direitos Humanos, Volker Türk, publicou uma carta aberta na qual alertou que a autorregulação voluntária é 'extremamente insuficiente'. Ele enfatizou que a corrida descontrolada por IAs autônomas cria riscos existenciais diretos para os direitos humanos.
Türk insiste que nenhum país pode gerenciar essa tecnologia sozinho, e nenhuma empresa tem o direito de decidir unilateralmente quais riscos a sociedade deve aceitar. O Comissário exige que os governos dos países onde estão localizados os principais laboratórios, especialmente EUA e China, implementem regras obrigatórias. Estas incluem auditorias de direitos humanos, verificação independente de capacidades e notificação de incidentes graves. Segundo Türk, o objetivo deve ser alinhar padrões globais para evitar uma 'corrida para o fundo'.
O chefe da ONU avaliou positivamente as propostas da indústria para desacelerar o desenvolvimento (por exemplo, a iniciativa proposta pela Anthropic), mas rejeitou a ideia de que os requisitos de segurança travam a inovação.
O especialista em inteligência artificial John Park, membro da equipe técnica da AGI Inc., questiona: o que transmite uma mensagem quando uma empresa declara o poder extraordinário, o caráter transformacional e potencialmente perigoso de sua tecnologia? Park afirma que existe uma 'conexão natural entre a forma como as empresas na vanguarda da IA descrevem suas tecnologias e o valor econômico que o mercado pode atribuir a elas.'
Na opinião do especialista, quando uma empresa enfatiza que seus modelos não são apenas poderosos, mas poderosos o suficiente para transformar a sociedade e, ao mesmo tempo, criar riscos sem precedentes, três mensagens são transmitidas. A primeira é que a tecnologia é extremamente capaz. A segunda é que seu impacto potencial pode ser enorme. E a terceira, que pode surgir nos investidores, é que a empresa que desenvolve essa tecnologia pode obter um enorme benefício econômico.
Kenneth Correa, especialista em novas tecnologias e professor da FGV, observa que essas ideias se reforçam mutuamente, mas isso não significa que os riscos sejam fictícios ou exagerados. Correa acredita que o debate sobre a redução da velocidade de desenvolvimento da IA 'mistura vários pontos pelos quais estamos passando.'
Ele explica que um ponto é que a questão não é o que o modelo faz por si só, mas sim o 'gerenciamento' — nas ferramentas, no acesso à rede e na força dessas tecnologias para a promoção. O segundo ponto é o lembrete de que essas empresas de tecnologia também estão em uma fase em que precisam sustentar o discurso de que valem trilhões de dólares.
Correa aponta para um momento crítico: 'Ao estabelecer o padrão de ritmo de desenvolvimento desta tecnologia, a Anthropic e a OpenAI criam, na verdade, uma barreira para novas e empresas disruptivas entrarem no mercado e oferecer algo novo e diferente. Assim, é um lugar muito confortável para eles estabelecer esse limite.'
Além disso, Correa acrescenta que, ao defender a existência de um limite para as empresas de IA, eles criam um discurso que aumenta sua própria avaliação — ou seja, as empresas ficam mais caras por terem um modelo tão poderoso. Ele conclui: 'Quando juntamos tudo isso, devemos lembrar que nada aqui é feito inocentemente. Existe um discurso, existe um conflito de interesses, e houve momentos no passado em que a importância de estabelecer ou não esses limites para a IA foi discutida.'