A Anthropic anunciou nesta quinta-feira, dia 17, três indicadores inéditos destinados a acompanhar a velocidade com que a inteligência artificial (IA) está evoluindo. Esta iniciativa surge pouco tempo depois de Dario Amodei, CEO da empresa, defender que as maiores corporações do setor deveriam coordenar uma moderação no avanço tecnológico.
A companhia também revelou que seu chatbot Claude já está responsável por 26% do trabalho de Pesquisa e Desenvolvimento (P&D) de IA realizado internamente. Segundo a Anthropic, este avanço auxilia na medição da corrida por sistemas que contribuem progressivamente para sua própria evolução.
Apesar deste aumento na participação do Claude, a Anthropic esclarece que o modelo ainda não atua de forma completamente autônoma em nenhuma parte do seu P&D medido. O termo 'liderar' neste contexto significa que o Claude executa a maior parte de uma tarefa completa a partir de uma diretriz de alto nível, mantendo um humano responsável pela supervisão e orientação geral. Este índice era nulo em fevereiro.
Adicionalmente, a Anthropic informou que a IA já participa de pelo menos grandes segmentos do trabalho sob supervisão humana próxima em mais de 90% de suas pesquisas, o que inclui os 26% onde o Claude é considerado líder.
Para calcular este índice, a Anthropic utilizou uma versão do próprio Claude para avaliar o P&D da empresa. O sistema foi aplicado a uma escala de avaliação de automação criada pela Epoch AI, e os resultados foram subsequentemente validados por humanos. A empresa também elaborou um gráfico para rastrear o nível de automação do Claude desde agosto de 2025, propondo que outros desenvolvedores de modelos de ponta possam replicar o método usando seus próprios dados e validação externa.
A segunda métrica apresentada pela Anthropic foca na supervisão de agentes de IA. A empresa desenvolveu um sistema para monitorar e intervir nas ações desses agentes e observou que cerca de 30 mil agentes realizavam simultaneamente trabalhos de engenharia e pesquisa em sua plataforma interna mais utilizada. A companhia também utiliza diversos monitores autônomos internos, capazes de detectar atividades suspeitas e encaminhá-las para análise humana. A intenção da Anthropic é mensurar não só o volume de agentes ativos, mas também aspectos como a proporção de atividades monitoradas, o tempo necessário para revisão de uma ação e a frequência com que os comportamentos dos agentes são sinalizados.
Leia mais:
A terceira métrica aborda a quantidade de poder computacional empregado pela organização. Ao analisar um panorama do uso de computação entre 13 e 20 de julho, a Anthropic identificou que aproximadamente 6% da capacidade computacional dedicada ao P&D de IA foi alocada para tarefas de segurança. Quando se considera especificamente a computação usada em P&D 'impulsionado por IA', essa fatia destinada à segurança atingiu cerca de 12%. Para a Anthropic, tais dados ajudam a ilustrar como os recursos estão sendo distribuídos à medida que as empresas avançam no desenvolvimento de modelos cada vez mais sofisticados.
A Anthropic sustenta que estas três métricas devem complementar as avaliações convencionais de capacidade dos modelos. Enquanto os testes de capacidade demonstram o que os modelos são capazes de fazer, as novas métricas buscam evidenciar como eles estão sendo construídos e qual é o ritmo desse processo. A empresa defende que tais informações podem fornecer a pesquisadores externos, governos e ao público um ponto de partida para avaliar a velocidade do desenvolvimento nos principais laboratórios de IA.
A Anthropic declarou que qualquer desenvolvedor de ponta poderia publicar essas medidas regularmente, seguindo uma metodologia aberta. A companhia justificou a divulgação dos dados alegando que eles proporcionam maior transparência ao público, terceiros e governos sobre o ritmo do desenvolvimento de IA nos laboratórios de vanguarda. Essa divulgação ocorre logo após Amodei defender uma desaceleração coordenada no desenvolvimento de IA.
O executivo argumentou que as empresas líderes deveriam diminuir o ritmo para conceder mais tempo à criação de mecanismos de segurança. Essa sugestão obteve respaldo de líderes do setor, incluindo Sam Altman, CEO da OpenAI; Elon Musk, CEO da SpaceX; e Demis Hassabis, presidente do Google DeepMind. Amodei afirmou que seu plano visa controlar a velocidade da evolução das capacidades dos modelos sem comprometer a vantagem comercial ou a liderança dos Estados Unidos em IA.
Paralelamente, o debate sobre segurança ganhou força após alertas de especialistas e executivos sobre o risco de os sistemas de IA se tornarem incompreensíveis ou incontroláveis. Na semana anterior, um ex-funcionário da Anthropic saiu da empresa afirmando que ela estava 'apostando com nossas vidas'. A discussão também alcançou Washington (EUA), onde o senador Bernie Sanders participou de um evento sobre os perigos de a IA escapar do controle humano. A Anthropic e concorrentes, como a OpenAI, têm enfrentado maior escrutínio sobre a garantia de que seus agentes internos se comportarão conforme o esperado durante testes e tarefas. Na quarta-feira (16), a OpenAI divulgou novos exemplos de agentes de IA que falharam em tarefas ou desviaram do roteiro estabelecido, apresentando uma estrutura para comunicar tais incidentes. Nesse contexto, a Anthropic aponta que suas novas métricas podem aumentar a visibilidade do avanço tecnológico, especialmente com sistemas como o Claude assumindo uma parcela crescente do trabalho de desenvolvimento da próxima geração de IA.