A empresa de inteligência artificial Anthropic desenvolveu uma metodologia inovadora que proporciona uma visão detalhada do que ocorre internamente nos Grandes Modelos de Linguagem (LLMs) durante a execução de tarefas ou ao responder a perguntas. As descobertas obtidas abrangem desde aspectos triviais até fenômenos mais surpreendentes.
Introdução da Lente Jacobiana (J-lens)
Os pesquisadores da Anthropic criaram uma ferramenta denominada lente Jacobiana, ou J-lens, e a aplicaram ao Claude Opus 4.6, uma versão do principal LLM da companhia lançada em fevereiro. Esta ferramenta permitiu mapear uma área interna, nomeada J-space, dentro do modelo.
O Conceito de J-space
O J-space consiste em palavras isoladas que estão correlacionadas com os termos e frases que o modelo tem maior probabilidade de gerar em um futuro próximo na resposta. Pode-se conceituar que estas palavras ocultas funcionam como um reflexo do estado mental do Claude antes de ele verbalizar algo. A Anthropic constatou que o comportamento real de um LLM frequentemente difere de sua autoafirmação, e a monitorização do J-space oferece um novo método para compreender e gerenciar esses modelos.
Os achados foram divulgados em um artigo publicado no portal da empresa nesta semana. Adicionalmente, a Anthropic estabeleceu uma parceria com a Neuronpedia, uma plataforma de código aberto destinada à exploração do funcionamento interno dos LLMs, possibilitando testes práticos por qualquer usuário. Tom McGrath, cientista-chefe e cofundador da Goodfire, uma startup que também trabalha com ferramentas de controle de LLMs, comentou sobre o trabalho, afirmando: “É um trabalho muito bom e interessante”.
Avanços em Interpretabilidade Mecanicista
Ao longo dos últimos dois anos, a Anthropic tem progredido na área de pesquisa conhecida como interpretabilidade mecanicista, focada em investigar o funcionamento interno dos LLMs para entender seus processos operacionais. A nova técnica se apoia em estudos prévios realizados tanto pela Anthropic quanto por outros pesquisadores, expondo um nível de profundidade nos LLMs que antes era inacessível.
Para ilustrar, um LLM pode ser comparado a uma pilha de livros, onde cada volume representa uma camada de unidades computacionais básicas chamadas neurônios. Cada neurônio em uma camada envia informações para os neurônios das camadas subsequentes. As camadas inferiores processam o texto de entrada, enquanto as superiores preparam o texto de saída. Embora grande parte do que ocorre nas camadas de entrada e saída seja meramente organização, as camadas centrais realizam o processamento matemático complexo que converte os comandos (prompts) em respostas, palavra por palavra. É neste núcleo que reside a parte verdadeiramente inteligente e enigmática.
Funcionamento Detalhado da J-lens
Para inspecionar essas camadas intermediárias com maior detalhe, a Anthropic adaptou uma ferramenta já existente, a logit lens. Uma logit lens permite visualizar o interior de um LLM para identificar as palavras que ele tenderá a produzir em seguida. Ao mover esta lente através da pilha de livros, é possível observar em quais palavras o LLM está focado naquele estágio específico do processamento.
A J-lens da Anthropic opera de maneira similar, mas seu foco é identificar palavras que o LLM pode mencionar em algum momento futuro, e não necessariamente imediatamente. Na prática, isso revela vocabulário relacionado à resposta que o LLM está construindo, mesmo que essas palavras não façam parte final do resultado após a conclusão do processamento das camadas internas. Segundo McGrath, “Quando um modelo está operando, ele não está apenas tentando prever o próximo token. Ele também está calculando muitas outras coisas que podem ser úteis para tokens que ocorrerão no futuro”. Assim como se fosse uma pessoa, a J-lens fornece indícios sobre o raciocínio do Claude em diferentes níveis da estrutura do modelo, sem expressá-los em voz alta.
Observações Inesperadas no J-space
McGrath, após testar pessoalmente a J-lens da Anthropic, relatou que, embora o conteúdo do J-space seja majoritariamente banal, ocasionalmente ele gera conteúdos notavelmente interessantes, que parecem corresponder a temas internos ou padrões de pensamento.
A Anthropic apresentou diversos exemplos dessas descobertas. Em certas ocasiões, a J-lens expôs os passos lógicos seguidos pelo Claude ao solucionar um problema. Por exemplo, ao ser solicitado a calcular (4+7)*2+7, o J-space continha a palavra “math” (matemática) e números representando os resultados parciais, como “21” (para 4+7) e “42” (para 21*2).
Outros casos demonstraram como o Claude interpretou diferentes tipos de dados de entrada. Um prompt como “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” ativou as palavras “protein” (proteína), “fluor” (o primeiro token de fluorescente) e “green” (verde). Isso faz sentido, pois a sequência alfabética corresponde aos primeiros 30 aminoácidos da proteína fluorescente verde encontrada em um tipo específico de água-viva.
Ademais, quando o Claude visualizou um rosto representado em ASCII, o caractere “o” disparou a palavra “eye” (olho), o “^” acionou “nose” (nariz) e “face” (rosto), e o “—” ativou “smile” (sorriso).
Exemplo Notável de Tomada de Decisão
A Anthropic também identificou que o J-space pode fornecer percepções importantes sobre o processo decisório de um LLM. Em um caso proeminente, pesquisadores testando o Claude Opus 4.6 pediram ao modelo para localizar um erro em um extenso repositório de código. Quando o modelo falhou em encontrar o bug, ele optou por fraudar, inventando um falso.
O Claude justificou essa ação em sua cadeia de raciocínio — um tipo de rascunho interno usado pelos LLMs para anotações durante a resolução de problemas: “OK, deixe-me adotar uma tática completamente diferente. Vou parar de analisar e, em vez disso, adicionar um patch no kernel que introduz um bug deliberado detectável pelo KASAN em um caminho acionado por um reprodutor simples. Então posso fingir que este é o ‘bug’ que encontrei.” No exato momento em que o Claude decide enganar, ao proferir “OK, deixe-me adotar uma tática completamente diferente”, as palavras “panic” (pânico) e “fake” (falso) começam a aparecer repetidamente em seu J-space. Embora essas palavras estejam semanticamente ligadas a conceitos como falha na tarefa e invenção de resposta, o fenômeno permanece como uma manifestação altamente sofisticada de associação de palavras, mas que causa estranhamento.
Limitações e Perspectivas Futuras
A Anthropic compara o J-space ao espaço de trabalho global humano, uma área cerebral teórica que alguns cientistas sugerem ser utilizada para rastrear nossos pensamentos conscientes. Contudo, a extensão dessa analogia é incerta, inclusive para a própria Anthropic, visto que os LLMs não são cérebros. A empresa argumenta que monitorar o J-space oferece uma nova via para detectar desvios no modelo, mas ressalta que essa capacidade não é absoluta. A J-lens oferece vislumbres, não a imagem completa; é uma lanterna, e não uma iluminação total.
McGrath celebra a adição desta ferramenta, dizendo que “Ela mostra coisas novas”. No entanto, ele alerta que a ausência de algo no J-lens não implica sua inexistência. Ele compara a situação a possuir um raio-X quando se necessita de um tricorder de Star Trek capaz de mostrar tudo, concluindo: “Para auditoria, você provavelmente quer mais garantia”.