Baidu выпустила модель Unlimited OCR 2 для парсинга документов любой длины за один проход
Подробнее
Pandaily
pandaily.com

Baidu выпустила модель Unlimited OCR 2 для парсинга документов любой длины за один проход

Компания Baidu представила и открыла для общественности Unlimited OCR 2 — вторую версию своей модели для анализа документов. Целью этой разработки является возможность считывать документы любого количества страниц за один непрерывный проход.

Код и веса модели доступны на платформах GitHub и Hugging Face под лицензией MIT. Кроме того, модель предоставляется через облачные сервисы Baidu AI Cloud и Baidu AI Open Platform.

Первая версия Unlimited-OCR, выпущенная в июне, использовала механизм внимания со скользящим окном с опорой на ссылки для расширения возможностей парсинга от отдельных страниц до десятков последовательных. Во второй версии этот механизм заменен на Sparse Reference Sliding Window Attention, или SR-SWA.

Baidu сравнивает новый подход с тем, как человек копирует книгу: он фокусируется на текущей странице и обращается к предыдущим только тогда, когда требуется информация, пересекающая страницы. На практике, специальный гейт страницы сначала сужает визуальную ссылку каждого запроса от всего документа до релевантных страниц, одновременно моделируя позиции между страницами. Затем привлекаются самые высокооцененные группы визуальных токенов для фиксации долгосрочных зависимостей.

Согласно описанию проекта, SR-SWA сжимает текстово-визуальное внимание из ультрадлинных последовательностей в фиксированный рабочий набор ссылок, например, 512 токенов. Это позволяет латентности декодирования на каждом шаге и потреблению памяти оставаться почти постоянными, независимо от длины документа. В сочетании с технологией, которую Baidu называет Unlimited-Horizon Decoding, это дает модели возможность обрабатывать очень длинные входные данные в пределах конечного контекстного окна.

В собственном примере Baidu продемонстрировала, что модель смогла обработать все семь книг Гарри Поттера, превышающие 3600 страниц, за одну сессию.

Приведенные показатели основаны на собственных тестах компании. Baidu сообщает о достижении балла 84.6 на MPDocBench, который является бенчмарком для многостраничного парсинга, и 77.1 на MarathonDocBench — бенчмарке для документов из ста страниц, который Baidu опубликовала вместе с моделью на Hugging Face. Компания утверждает, что оба результата являются передовыми для сквозного парсинга и превосходят несколько общих моделей уровня флэш-тир, которые она тестировала.

В сценарии с 100 страницами отчет Baidu указывает, что SR-SWA декодирует каждый шаг в семь раз быстрее, чем полное внимание, и в 5,6 раза быстрее, чем предыдущая конструкция R-SWA. На момент написания статьи независимые оценки еще не были опубликованы.

Первая версия вызвала значительный интерес среди разработчиков. Baidu отмечает, что модель набрала более 10 миллионов загрузок на Hugging Face и 28 500 звезд на GitHub. В настоящее время модель работает с использованием Transformers для быстрых испытаний и SGLang для обслуживания. Baidu планирует представить больше информации о модели на мероприятии Baidu World 2026, которое состоится 12 ноября.

Похожие сюжеты

DeepSeek и MiniMax завершили регистрацию экспорта ИИ и приступили к международному лицензированию
Подробнее
pandaily.com

DeepSeek и MiniMax завершили регистрацию экспорта ИИ и приступили к международному лицензированию

Две известные разработчика моделей искусственного интеллекта из Китая, DeepSeek и MiniMax, успешно прошли процесс регистрации, введенный в рамках предлагаемого обновления каталога экспортных технологий страны. Обе компании продолжили свою деятельность, выпустив свои модели с открытым исходным кодом и начав международное лицензирование.

Об этой информации стало известно вечером 22 октября через аккаунт Yuyuan Tantian, принадлежащий государственному вещателю China Media Group. Данные события происходят на фоне проекта пересмотра Каталога запрещенных или ограниченных к экспорту технологий, который Министерство торговли и Министерство науки и технологий выставили на общественные комментарии 16 октября.

В проект изменений было добавлено 23 пункта, касающихся ИИ, включая большие модели, агентов ИИ, вычислительные кластеры и обработку информации. Сам каталог уже привлек внимание, а новая информация подтверждает, что два ведущих разработчика моделей уже применили этот процесс на практике.

Важно отметить, что регистрация отличается от получения ограничительной лицензии, и данный каталог пока является консультативным проектом, а не окончательным списком. Согласно заявлению Министерства торговли, технологии, которые уже стали общедоступными благодаря выпускам с открытым исходным кодом или академическим публикациям, предлагается исключить из сферы экспортного регулирования.

Автоматическое лицензирование предусмотрено для случаев, когда китайские компании строят и эксплуатируют зарубежные центры обработки данных, а также при совместных исследованиях с использованием зарубежных ресурсов; министерство описывает этот процесс как близкий к экспорту после подачи заявки.

Министерство также определило границы того, как модели попадают к пользователям за рубежом. Предоставление ограниченной модели через API-вызовы, приложения или веб-интерфейсы, а также в виде SaaS-продуктов или легкого локального развертывания на устройстве, не считается экспортом технологии больших моделей. Однако локальное развертывание ограниченной модели за границей подпадает под управление экспортом, хотя размещение на собственной зарубежной облачной инфраструктуре компании может использовать автоматическое лицензирование.

Министерство подчеркнуло, что подавляющее большинство технологий ИИ останется свободно экспортируемыми.

Практические шаги, предпринятые компаниями, придают процессу конкретные очертания. Как сообщает Huxiu, DeepSeek 20 октября открыл свой фреймворк для крупномасштабного инференса DeepInfer и сопутствующий инструментарий deepseek-recipe. MiniMax же настроил официальный путь подачи заявок для зарубежных регионов, которые ранее были исключены из лицензий его моделей, включая Соединенные Штаты, Европейский союз, Великобританию и Южную Корею.

При таком подходе веса моделей остаются открытыми, но организациям в этих регионах необходимо пройти проверку соответствия и получить лицензию перед тем, как развернуть модели локально. Для разработчиков это означает, что открытые веса, открытый код и доступ по API, вероятно, сохранятся в прежнем виде, тогда как локальное развертывание наиболее чувствительных технологий за рубежом потребует процедуры подачи документов. Период обсуждения проекта каталога все еще продолжается, и окончательный объем регулирования может измениться до вступления в силу.

Популярное