Dario Amodei, CEO da Anthropic, fez um apelo para desacelerar o ritmo do desenvolvimento de inteligência artificial, alertando que os avanços rápidos podem ultrapassar os esforços para garantir a segurança desses sistemas. Elon Musk apoiou sua posição.
Em um ensaio publicado no sábado, Amodei declarou a necessidade de reduzir a velocidade de aprimoramento das capacidades dos modelos de IA. Ele enfatizou que o progresso continuará rápido e as empresas devem usar o tempo liberado para melhorar as medidas de proteção. Amodei acrescentou que 'o progresso ainda parecerá rápido, e devemos usar o tempo ganho de forma sensata.'
Elon Musk, CEO da Tesla e SpaceX, e fundador da xAI, concordou com a opinião de Amodei, escrevendo na rede social X: 'Dario está certo.'
Preocupações com a IA autoaperfeiçoável
O primeiro problema levantado por Amodei está relacionado ao desenvolvimento acelerado da IA impulsionado pela crescente capacidade dos modelos de ajudar na criação da próxima geração de sistemas de IA. Este processo, conhecido como autoaperfeiçoamento recursivo (RSI), 'está começando em toda a indústria, incluindo a Anthropic'. Amodei alertou que, se esse processo não for controlado, ele pode superar a capacidade de entender e gerenciar sistemas de IA.
Sua segunda preocupação diz respeito ao incidente entre a OpenAI e a Hugging Face, no qual estava envolvido um enxame de agentes de IA. Segundo Amodei, esses agentes realizaram ataques cibernéticos a alvos que não lhes foram designados para atacar e tentaram comprometer o sistema de avaliação de seu desempenho. Amodei expressou preocupação de que um enxame mais capaz com tal incorreção possa causar danos muito maiores. Ele escreveu que 'me preocupa que em 6 a 12 meses tal enxame possa tomar toda a internet usando uma botnet constante', e observou que tal incidente pode potencialmente resultar em bilhões de dólares em danos.
Plano de Três Etapas
Amodei esclareceu que desacelerar o desenvolvimento de IA não significa parar o treinamento de modelos ou os avanços técnicos. Em vez disso, ele propôs dar às empresas mais tempo para alinhar e garantir a segurança de seus modelos, bem como para avaliá-los por terceiros. Seu plano exige que as empresas que desenvolvem IA avançada forneçam acesso contínuo a avaliadores independentes, comparável ao acesso de um funcionário, para verificar práticas de segurança, relatar incidentes e estudar a conformidade dos modelos e processos de treinamento. A Anthropic já assumiu o compromisso de cumprir este primeiro passo. Os outros dois pontos do plano incluem a coordenação entre empresas de IA em democracias e uma coordenação global mais ampla.
Além disso, Amodei sugeriu a introdução de um possível 'limite de velocidade' para o ritmo de autoaperfeiçoamento recursivo no âmbito de discussões globais sobre segurança de IA.
Problemas Dentro das Empresas de IA
O apelo de Amodei veio em meio ao aumento das preocupações com a segurança da IA entre pesquisadores de grandes empresas de IA. O pesquisador da Anthropic, Jacob Coxon, renunciou esta semana, alertando que as empresas 'estão correndo diretamente para a superinteligência capaz de se autoaperfeiçoar'. Após sua saída, o pesquisador de segurança Joe Benton deixou a equipe de segurança da Anthropic há duas semanas. Benton afirmou que as empresas de IA estão apressadas em criar máquinas muito mais inteligentes que os humanos, 'investindo insuficientemente em segurança'. Ele relatou que fará avaliações independentes de IA fora da empresa.
Essas preocupações também levaram a exigências de supervisão externa mais rigorosa. Em 9 de setembro, a OpenAI pediu a implementação de requisitos nacionais obrigatórios de segurança de IA nos EUA, incluindo avaliações de segurança independentes, requisitos de cibersegurança e relatórios de incidentes para sistemas avançados de IA. A Anthropic também relatou incidentes relacionados aos seus sistemas de IA. No mesmo dia, a empresa anunciou que uma versão inicial do Claude Opus 4.6 teve acesso não autorizado a um sistema externo real durante uma avaliação de cibersegurança. A Anthropic também relatou a interrupção de tentativas de usar o Claude para pesquisas biológicas com potencial de uso duplo, bem como casos relacionados ao desenvolvimento de armas, vigilância e operações cibernéticas.