Pesquisadores do Laboratório de Ciência de Dados e Inteligência do Departamento de Engenharia Eletrônica da Universidade Tsinghua apresentaram dois projetos interligados na área de IA para ciência: SRHarness — um framework de tempo de execução para regressão simbólica de agentes, e MechBench — um benchmark que avalia a capacidade da IA de reconstruir os mecanismos subjacentes a uma fórmula, e não apenas a fórmula em si.
A equipe justificou seu trabalho com um exemplo histórico: Kepler derivou as leis do movimento planetário a partir de observações, descrevendo o movimento, enquanto a mecânica de Newton explicou a causa desse movimento. Como os modelos de linguagem grandes modernos e os agentes científicos são capazes de analisar dados, usar ferramentas e iterar hipóteses, os pesquisadores decidiram testar ambas essas etapas.
O SRHarness não dita a estratégia de busca. Em vez disso, ele transforma o ambiente de execução usado pelos agentes em uma infraestrutura reutilizável composta por três componentes: ações científicas reutilizáveis, que encapsulam ferramentas de análise, ajuste, busca e avaliação sob uma interface única; um estado científico persistente, que armazena candidatos a fórmulas e provas fora do contexto do chat; e um gerenciamento do ciclo de vida da trajetória, que lida com a continuação, ramificação, reinício e parada de buscas longas. O código está disponível em código aberto no GitHub e pode ser instalado via PyPI, além de haver uma demonstração online.
De acordo com os artigos apresentados, usando o mesmo modelo base DeepSeek-v4-flash, o SRHarness alcançou uma taxa de recuperação simbólica de 93,69% no benchmark LSR-Transform, significativamente superior aos 62,16% do método anterior de melhor desempenho, SR-Scientist. Mesmo quando o contexto científico e os valores das variáveis são removidos das tarefas, o SRHarness ainda recupera 72,97% das equações alvo, em comparação com 39,64% para o SR-Scientist e 20,72% para o Codex, operando no mesmo modelo base. Os autores observam que este resultado supera o Codex acoplado ao GPT-5.5, que obteve 68,47%.
O MechBench divide duas capacidades: a reconstrução da lei observada e a reconstrução do mecanismo subjacente. Ele utiliza sondas de mecanismos para verificar grandezas internas que a própria fórmula não pode determinar, além de eliminar mecanismos concorrentes capazes de produzir observações idênticas. Os resultados da pesquisa mostram que mesmo o Codex com GPT-5.6-sol reconstrói mecanismos apenas em 13,75% dos casos do conjunto principal, enquanto a taxa de recuperação das próprias leis é de 35%.
Os pesquisadores concluem que essa lacuna demonstra que os agentes científicos atuais são muito melhores em encontrar padrões do que em compreendê-los, e posicionam o MechBench como um marco para o próximo passo no desenvolvimento.