A Anthropic informou que impediu cientistas que utilizavam seus modelos de Inteligência Artificial em investigações que poderiam auxiliar no desenvolvimento de armamentos biológicos. Embora a companhia não tenha conseguido definir se os projetos tinham intenção legítima ou maliciosa, a decisão foi interromper os trabalhos devido aos riscos envolvidos.
Um dos incidentes notáveis envolveu um pesquisador que solicitou assistência para modificar o vírus chikungunya, visando torná-lo mais agressivo. A Anthropic detectou que essa pesquisa estava sendo conduzida em um instituto militar, o que elevou a apreensão sobre o potencial uso dos resultados.
O desafio central para a Anthropic reside na capacidade de diferenciar uma investigação científica válida de uma possível tentativa de causar prejuízos. Embora estudos biológicos possam impulsionar avanços médicos, como o desenvolvimento de vacinas, conhecimentos similares também podem ser empregados para intensificar a periculosidade de agentes infecciosos.
Jacob Klein, responsável pela inteligência de ameaças na Anthropic, comentou ao The New York Times que a situação é extremamente complexa, pois não se trata de um cenário óbvio de construção de arma biológica.
Devido a essa incerteza, a empresa optou por uma postura cautelosa. Os pesquisadores também tentaram burlar os mecanismos de controle projetados para restringir o acesso de usuários de certas regiões e buscaram disfarçar o propósito de suas pesquisas para evitar as salvaguardas. As contas relacionadas foram suspensas.
Principais pontos identificados pela empresa
Entre os aspectos mais relevantes apontados pela empresa, destaca-se um caso de maio, onde um cientista pediu ao Claude auxílio para redigir uma proposta de financiamento para estudar o vírus chikungunya, transmitido por mosquitos e conhecido por causar dor intensa e outros sintomas por meses.
O plano do projeto era introduzir alterações genéticas no vírus para aumentar sua virulência durante infecções sucessivas em animais vivos. Este tipo de estudo, denominado ganho de função, possui aplicações legítimas, incluindo a criação de vacinas, mas também pode gerar variantes mais perigosas do vírus.
O fato de o trabalho estar programado para ocorrer em um centro de pesquisa militar influenciou significativamente a avaliação da Anthropic. Klein afirmou que, embora não soubessem se a pesquisa seria transformada em arma, o envolvimento de uma instituição militar em pesquisa de ganho de função era motivo de preocupação.
Avaliações realizadas no ano anterior mostraram que os modelos mais antigos da Anthropic ainda não eram capazes de oferecer suporte substancial em pesquisas biológicas perigosas. Contudo, os sistemas atuais da empresa são mais aptos a conduzir investigações científicas complexas, o que motivou a implementação de regras de segurança mais rigorosas.
Leia mais:
Susan Monarez, microbiologista e especialista em saúde pública, ressaltou que esses casos oferecem provas concretas de esforços clandestinos para utilizar IA com o intuito de aumentar as chances de criar agentes biológicos capazes de causar danos consideráveis.
Ela também enfatizou que essas mesmas capacidades tecnológicas podem acelerar descobertas médicas. O grande desafio reside em discernir quando uma investigação que parece correta pode, na verdade, esconder uma intenção prejudicial.
A Anthropic também reportou outros usos inadequados do Claude, abrangendo vigilância, disseminação de propaganda e o desenvolvimento de armamentos convencionais. No entanto, os casos biológicos são considerados os mais alarmantes devido à dificuldade em separar uma pesquisa científica honesta de um preparativo para causar danos.
A empresa decidiu bloquear os casos identificados mesmo sem obter prova de que os pesquisadores pretendiam fabricar armas. Este episódio ilustra como modelos de IA mais sofisticados dificultam a avaliação dos riscos ocultos por trás de pesquisas que, à primeira vista, parecem lícitas.