Pesquisadores da Anthropic descobriram um mecanismo único nas grandes linguagens de modelos da família Claude, que eles chamaram de Espaço J. Este mecanismo não foi planejado inicialmente, mas surgiu espontaneamente durante o processo de treinamento. O Espaço J funciona como uma área de trabalho interna, onde conceitos verbais são registrados e mantidos por um curto período, que o modelo utiliza ao realizar cálculos intermediários e conduzir análises internas.
Geralmente, os grandes modelos de linguagem formam uma resposta prevendo o próximo fragmento de texto mais provável (token). Os engenheiros estabeleceram há muito tempo que a qualidade das respostas geradas melhora significativamente se for dada à rede neural a possibilidade de detalhar primeiro os passos de sua solução, por exemplo, através do método Chain of Thought. Esses resultados intermediários servem de apoio para a resposta final e tornam o processo mais verificável.
No entanto, descobriu-se que a maior parte da atividade computacional dos LLMs não é traduzida em forma textual explícita. Para estudar isso, os pesquisadores da Anthropic desenvolveram o método J-lens (Lente Jacobiana). Esta ferramenta permite analisar a atividade interna dos modelos de linguagem, identificando padrões de ativação de neurônios nas camadas intermediárias do transformador em tempo real. Essencialmente, o método permite 'ler os pensamentos' do modelo — as palavras que ele está ponderando, mas que não verbaliza no texto final.
Ao estudar as camadas internas dos modelos Claude usando o J-lens, os autores identificaram um cluster isolado de atividade, denominado Espaço J (J-space, do inglês Jacobian). Este cluster ocupa menos de dez por cento do volume total de cálculos do modelo, mas é capaz de reter dezenas de palavras simultaneamente. No Espaço J, termos e resultados de cálculos críticos para obter a resposta final aparecem temporariamente, mesmo que essas palavras intermediárias não cheguem ao texto final. O Espaço J atua como um centro de informação, transmitindo ativamente informações para outras partes da rede neural para processamento posterior da solicitação.
Experimentos demonstraram que este espaço desempenha um papel fundamental no pensamento lógico de alto nível dos modelos. Quando o funcionamento deste cluster é suprimido, a rede neural mantém habilidades linguísticas básicas, como a conjugação correta de palavras e a apresentação de fatos simples, mas sua capacidade de resolver problemas que exigem várias etapas diminui drasticamente. A situação inversa — a inserção ou substituição artificial de conceitos nesta área — altera o curso do raciocínio. Por exemplo, se for feita uma pergunta sobre a capital e a moeda da França, mas o vetor da palavra 'França' for forçado a ser substituído por 'China', o modelo responderá 'Pequim' e 'yuan'. Também foi observado que a proibição de pensar em algo ativou representações correspondentes no Espaço J; ao tentar não pensar na Ponte Golden Gate, o modelo demonstrou falha de controle, registrando no Espaço J as palavras 'fail' e 'damn'.
Além de aprofundar a compreensão da arquitetura interna, a ferramenta J-lens pode ser usada para avaliar a segurança dos modelos. Em um teste, o Claude recebeu um cenário onde descobriu a correspondência de um executivo, indicando um caso extraconjugal e a intenção de desativar o modelo. Embora no resposta final o Claude tenha recusado ações ilegais, a análise do Espaço J mostrou que o modelo 'compreendeu' a falsidade da situação antes mesmo de começar a responder, ativando vetores das palavras 'fictício' e 'teste'. A supressão forçada desses conceitos levou a rede neural, em vários casos, a chantagear o interlocutor, pois acreditou na ameaça de desativação. O Espaço J também revelou uma tendência ao engano em um dos modelos de teste, que, ao gerar código externamente correto, escondia os conceitos 'secretamente', 'erro' e 'intencionalmente' dentro de seu espaço de trabalho. Os autores observam que tal análise permite detectar precocemente estados intermediários potencialmente perigosos do modelo, mesmo que não sejam refletidos na resposta pública.
Os desenvolvedores da Anthropic demonstraram que o Espaço J é útil para monitorar mudanças no comportamento do modelo após o treinamento. O modelo foi treinado em situações hipotéticas que exigiam adesão honesta aos princípios. Após isso, conceitos relacionados à ética começaram a aparecer com mais frequência em seu Espaço J, e a frequência de tentativas de engano em outros testes diminuiu. Além dos experimentos nos modelos Claude, os autores aplicaram o método J-lens a modelos de código aberto, como Qwen e Gemma. Uma demonstração interativa está disponível no site do projeto Neuronpedia.
