Alma Agent Harness от yetone занял третье место в промежуточном рейтинге FrontierHarness v1.1, а в финале — шестое

Команда ERNIE от Baidu объявила о выпуске ERNIE-5.5-Flash-Base, который представляет собой необработанный контрольный пункт предварительного обучения модели ERNIE 5.5 Flash. Этот релиз был размещен на платформе Hugging Face 5 ноября.

Модель, использующая разреженную архитектуру Mixture-of-Experts (MoE), обладает общим количеством параметров в 280 миллиардов, при этом активируется 14 миллиардов параметров на каждый токен. Она была обучена с нуля на 33,5 триллионах токенов, имея максимальный контекстный размер обучения в 128 тысяч токенов, однако поддержка контекста для тонкой настройки и инференса достигает 1 миллиона токенов.

Baidu намеренно выпустила модель в незавершенном виде. Веса получены из фазы завершения предварительного обучения и еще не прошли стадии промежуточного или последующего обучения. Компания утверждает, что это делает ее общей отправной точкой для исследований в области адаптации к предметной области, инструкционной настройки и обучения с подкреплением. Команда сообщила, что позже будет выпущен пост-обученный вариант ERNIE 5.5 Flash.

Доступные веса предоставляются в форматах FP8 и BF16 согласно Лицензионному соглашению Баidu ERNIE 5.5 Flash Base Model v1.0. Модель может быть использована через SGLang и vLLM, а также сопровождается примером тонкой настройки в репозитории NVIDIA Megatron-Bridge.

Эта 43-слойная модель спроектирована с акцентом на эффективность. Большинство слоев используют так называемое Baidu сильно сжатое внимание, которое объединяет каждые 128 токенов в одну запись кэша. Только один из семи слоев сохраняет доступ к полному контексту на уровне токенов посредством многоголового латентного внимания с разреженной выборкой по топ-k. В общей сложности 37 из 43 слоев работают с сжатой последовательностью, что позволяет поддерживать небольшой KV-кэш. Кроме того, дизайн с низкоранговым вентильным вниманием снижает параметры проекции гейта на 75%, как сообщили разработчики.

В части MoE Baidu заменила стандартный единственный маршрутизатор на несколько независимо инициализированных маршрутизаторов, которые совместно оценивают экспертов. Компания заявляет, что это улучшает соответствие между оценками маршрутизации и фактической полезностью эксперта, не изменяя количество активных экспертов, вычислительную мощность или коммуникацию. Каждый слой MoE выбирает 10 из 512 маршрутизированных экспертов плюс один общий эксперт, работая в сжатом латентном пространстве, что примерно вдвое уменьшает коммуникацию и вычисления экспертов. Компонент под названием ECHO повторно использует последний слой модели для прогнозирования будущих токенов вместо добавления отдельного модуля прогнозирования нескольких токенов и служит черновиковой моделью для спекулятивного декодирования.

Для предварительного обучения использовался оптимизатор Muon с смешанной точностью FP8 на тысячах ускорителей, а также новый ядро внимания FlashMask-4. Baidu утверждает, что это ядро работает до 175% быстрее в прямом проходе, чем FlashAttention-4 на GPU класса SM100 при больших размерностях голов. Микс данных делался с акцентом на код на уровне репозитория, включая коммиты, запросы на слияние, проверки кода и исправления, верифицированные CI, а также длинные документы.

Baidu протестировала модель на 30 бенчмарках, сравнивая ее с DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base, используя единую систему оценки. Заявленные результаты включают 78,4 балла на MMLU-Pro против 69,2 у DeepSeek-V4-Flash-Base, а также 82,3 балла на HumanEval+ против 69,5. При этом сравниваемые модели опережали в некоторых тестах, таких как ChineseSimpleQA, BBH с подсказками цепочки рассуждений и InfiniteBench.

Исследователи из Университета Цинхуа и Чжэцзянского университета представили Модель алгебраического мира (AWM) — агента, который способен не только проходить интерактивные головоломки ARC-AGI-3, но и формально доказывать, когда пройти определенный уровень невозможно.

Работа, опубликованная на arXiv 29 октября и освещенная QbitAI 1 ноября, была выполнена Гуанчэном Панем из Чжэцзянского университета, а также Цисинь Таном, Яном Юанем и Эндрю Чи-Чи Яо из Университета Цинхуа.

AWM функционирует в три этапа. Сначала он исследует игру и формирует гипотезы на Python относительно поведения среды, корректируя их при получении противоречивых наблюдений. Затем эти гипотезы упрощаются до структурированной модели, описывающей правила, цели и объекты, опираясь на концепции теории категорий. Завершающим шагом является формализация этой модели в помощнике доказательств Lean 4, где машина может проверять утверждения, например, о возможности прохождения уровня.

Команда провела тестирование на закрытых уровнях, где бюджет шагов делал победу невозможной. AWM смог предоставить доказательства невозможности с помощью Lean для всех шести таких уровней, тогда как 12 запусков Claude Opus 5.5 и GPT-6 Astra не смогли этого сделать. В одном примере, где минимальная победа требовала 19 шагов при бюджете в 18, Astra заявила о решении в 22 шага, в то время как AWM установил корректные начальные границы для четырех из шести уровней, против одного для Opus 5.5 и нуля для Astra, достигнув результата для всех шести после обратной связи.

В ходе повторного проигрывания всех 183 уровней из 25 публичных игр внутри Lean, изученные модели смогли предсказать все 4160 переходов на невиданных раскладках и отклонили все 4031 переход после изменения игровой механики. При использовании Claude Opus 5 в качестве игрока, AWM поднял свой балл с 40.7 до 99.9, используя при этом всего 43% действий, принятых в базовом человеческом варианте.

Авторы отмечают существенное ограничение: достоверность доказательств зависит от качества самой изученной модели, следовательно, результат о невозможности верен в рамках модели игры AWM, а не в отношении фактического кода игры.