Исследователи из Лаборатории науки о данных и интеллекте Департамента электронной инженерии Университета Цинхуа представили два взаимосвязанных проекта в области ИИ для науки: SRHarness — фреймворк времени выполнения для символической регрессии агентов, и MechBench — бенчмарк, который оценивает способность ИИ восстанавливать механизмы, лежащие в основе формулы, а не только саму формулу.
Команда обосновала свою работу историческим примером: Кеплер вывел законы движения планет из наблюдений, описав движение, тогда как механика Ньютона объяснила причину этого движения. Поскольку современные большие языковые модели и научные агенты способны анализировать данные, использовать инструменты и итерировать гипотезы, исследователи решили протестировать оба этих этапа.
SRHarness не диктует стратегию поиска. Вместо этого он превращает среду выполнения, которую используют агенты, в многократно используемую инфраструктуру, состоящую из трех компонентов: многоразовых научных действий, которые оборачивают инструменты анализа, подгонки, поиска и оценки за единым интерфейсом; постоянного научного состояния, которое сохраняет кандидатов в формулах и доказательства вне контекста чата; а также управления жизненным циклом траектории, которое обрабатывает продолжение, ветвление, перезапуск и остановку длительных поисков. Код доступен в открытом доступе на GitHub и устанавливается через PyPI, а также имеется онлайн-демонстрация.
Согласно представленным статьям, используя ту же базовую модель DeepSeek-v4-flash, SRHarness достиг показателя символического восстановления 93,69% на бенчмарке LSR-Transform, что значительно выше, чем 62,16% у предыдущего лучшего метода SR-Scientist. Даже когда из задач удаляют научный контекст и значения переменных, SRHarness все равно восстанавливает 72,97% целевых уравнений, по сравнению с 39,64% для SR-Scientist и 20,72% для Codex, работающего на той же базовой модели. Авторы отмечают, что этот результат превосходит Codex, сопряженный с GPT-5.5, который показал 68,47%.
MechBench разделяет две способности: восстановление наблюдаемого закона и восстановление лежащего в его основе механизма. Он использует зонды механизмов для проверки внутренних величин, которые формула сама по себе определить не может, а также отсеивает конкурирующие механизмы, способные дать идентичные наблюдения. В результатах исследования показано, что даже Codex с GPT-5.6-sol восстанавливает механизмы лишь в 13,75% случаев из основного набора, в то время как показатель восстановления самих законов составляет 35%.
Исследователи заключают, что этот разрыв демонстрирует, что сегодняшние научные агенты гораздо лучше находят закономерности, чем понимают их, и позиционируют MechBench как ориентир для следующего шага в развитии.