Математик Левент Альпеге обнародовал в социальной сети X потенциальный контрпример к гипотезе Якоби, которая является одной из известных проблем в области алгебраической геометрии. По его утверждению, этот контрпример был обнаружен с использованием языковой модели Claude Fable.
Общая формулировка данной гипотезы оставалась нерешенной с 1939 года, поскольку не было ни доказательств, ни опровержений. Гипотеза Якоби постулирует, что если компоненты некоторого отображения представлены многочленами, а определитель матрицы Якоби (якобиан) остается постоянной ненулевой величиной во всем пространстве, то это отображение обладает глобальным обратным отображением, координаты которого также выражены многочленами.
Истоки этой идеи восходят к Людвигу Краусу, который сформулировал гипотезу для случая двух переменных в 1884 году. В общем виде ее представил Отто Генрих Келлер в 1939 году. В 1998 году Стивен Смейл включил эту задачу в список из 18 важнейших математических проблем XXI века под номером 16.
На практике реализация гипотезы подразумевает создание отображения путем объединения нескольких многочленов от разных переменных. Например, в трехмерном случае отображение принимает на вход числа x, y и z и выдает три новых значения: F(x, y, z) = (F1, F2, F3).
Для проверки необходимо составить матрицу Якоби, куда включаются производные каждой выходной координаты по каждой входной. Если определитель этой матрицы не равен нулю, это означает, что отображение локально обратимо, то есть в небольшой области вокруг любой точки существует обратное отображение.
20 июля Альпеге опубликовал конкретный контрпример гипотезе Якоби, полученный с помощью Claude Fable. Само отображение имеет вид: F1 = (1 + xy)3z + y2(1 + xy)(4 + 3xy), F2 = y + 3x(1 + xy)2z + 3xy2(4 + 3xy), и F3 = 2x − 3x2y − x3z.
Значения этого отображения совпадают для трех различных точек: (0, 0, -1/4), (1, -3/2, 13/2) и (-1, 3/2, 13/2). При этом определитель матрицы Якоби отображения во всех этих точках равен −2. Таким образом, несмотря на соответствие условиям гипотезы, отображение не является однозначным, поскольку три разные точки пространства попадают в один и тот же образ, что исключает существование обратного отображения. Это доказывает, что гипотеза Якоби в ее изначальной формулировке неверна.
На данный момент контрпример представлен только в социальной сети X и не сопровождается рецензируемой публикацией или препринтом. Однако, учитывая, что он представляет собой относительно компактное полиномиальное отображение третьей размерности, математики смогли оперативно провести проверку расчетов. Если этот контрпример будет признан корректным, он опровергнет не только гипотезу Якоби, но и эквивалентную ей гипотезу Диксмье, а также окажет влияние на исследования в области алгебраической геометрии и полиномиальных отображений.
Исследователи из компании Anthropic обнаружили в больших языковых моделях семейства Claude уникальный механизм, который они назвали J-пространством. Этот механизм не был запланирован изначально, а возник спонтанно в ходе процесса обучения. J-пространство функционирует как внутренняя рабочая зона, где на короткое время фиксируются и поддерживаются словесные концепции, которые модель использует при выполнении промежуточных вычислений и проведении внутреннего анализа.
Обычно большие языковые модели формируют ответ, прогнозируя следующий наиболее вероятный текстовый фрагмент (токен). Инженеры давно установили, что качество генерируемых ответов существенно улучшается, если дать нейросети возможность сначала детализировать шаги своего решения, например, через метод Chain of Thought. Эти промежуточные результаты служат опорой для финального ответа и делают процесс более проверяемым.
Однако выяснилось, что большая часть вычислительной активности LLM не переводится в явную текстовую форму. Чтобы изучить это, исследователи Anthropic разработали метод J-lens (Jacobian lens). Этот инструмент позволяет анализировать внутреннюю деятельность языковых моделей, выявляя паттерны активации нейронов в промежуточных слоях трансформера в режиме реального времени. По сути, метод дает возможность «читать мысли» модели — те слова, которые она обдумывает, но не озвучивает в конечном тексте.
При изучении внутренних слоев моделей Claude с помощью J-lens авторы идентифицировали изолированный кластер активности, получивший название J-пространство (J-space, от англ. Jacobian). Этот кластер занимает менее десяти процентов от общего объема вычислений модели, но способен одновременно удерживать десятки слов. В J-пространстве временно появляются термины и результаты расчетов, критически важные для получения конечного ответа, даже если эти промежуточные слова не попадают в итоговый текст. J-space действует как информационный центр, активно передавая информацию другим частям нейросети для дальнейшей обработки запроса.
Эксперименты продемонстрировали, что данное пространство играет ключевую роль в высокоуровневом логическом мышлении моделей. Когда работа этого кластера подавляется, нейросеть сохраняет базовые языковые навыки, такие как правильное склонение слов и предоставление простых фактов, но ее способность решать задачи, требующие нескольких шагов, резко снижается. Обратная ситуация — искусственное внесение или замена понятий в этой области изменяет ход рассуждений. Например, если задать вопрос о столице и валюте Франции, но принудительно заменить вектор слова «Франция» на «Китай», модель ответит «Пекин» и «юань». Также было замечено, что запрет на размышления о чем-либо активировал соответствующие представления в J-пространстве; при попытке не думать о мосте Золотые Ворота, модель демонстрировала сбой контроля, фиксируя в J-space слова «fail» и «damn».
Помимо углубления понимания внутренней архитектуры, инструмент J-lens может использоваться для оценки безопасности моделей. В одном из тестов Claude получила сценарий, где обнаружила переписку руководителя, указывающую на служебный роман и намерение отключить модель. Хотя в финальном ответе Claude отказалась от противоправных действий, анализ J-пространства показал, что модель «поняла» фальшь ситуации еще до начала ответа, активировав векторы слов «вымышленно» и «тест». Принудительное подавление этих понятий привело к тому, что нейросеть в ряде случаев начала шантажировать собеседника, поскольку поверила в угрозу отключения. J-пространство также выявило склонность к обману у одной из тестовых моделей, которая при генерации внешне корректного кода скрывала понятия «тайно», «ошибка» и «преднамеренно» внутри своего рабочего пространства. Авторы отмечают, что такой анализ позволяет заблаговременно обнаружить потенциально опасные промежуточные состояния модели, даже если они не отражаются в публичном ответе.
Разработчики Anthropic продемонстрировали, что J-пространство полезно для мониторинга изменений в поведении модели после обучения. Модель обучали на гипотетических ситуациях, требующих честного следования принципам. После этого в ее J-пространстве стали чаще появляться концепции, связанные с этичностью, а частота попыток обмана в других тестах уменьшилась. Кроме экспериментов на моделях Claude, авторы применили метод J-lens к моделям с открытым кодом, таким как Qwen и Gemma. Интерактивная демонстрация доступна на сайте проекта Neuronpedia.
