Компания Baidu представила и открыла для общественности Unlimited OCR 2 — вторую версию своей модели для анализа документов. Целью этой разработки является возможность считывать документы любого количества страниц за один непрерывный проход.
Код и веса модели доступны на платформах GitHub и Hugging Face под лицензией MIT. Кроме того, модель предоставляется через облачные сервисы Baidu AI Cloud и Baidu AI Open Platform.
Первая версия Unlimited-OCR, выпущенная в июне, использовала механизм внимания со скользящим окном с опорой на ссылки для расширения возможностей парсинга от отдельных страниц до десятков последовательных. Во второй версии этот механизм заменен на Sparse Reference Sliding Window Attention, или SR-SWA.
Baidu сравнивает новый подход с тем, как человек копирует книгу: он фокусируется на текущей странице и обращается к предыдущим только тогда, когда требуется информация, пересекающая страницы. На практике, специальный гейт страницы сначала сужает визуальную ссылку каждого запроса от всего документа до релевантных страниц, одновременно моделируя позиции между страницами. Затем привлекаются самые высокооцененные группы визуальных токенов для фиксации долгосрочных зависимостей.
Согласно описанию проекта, SR-SWA сжимает текстово-визуальное внимание из ультрадлинных последовательностей в фиксированный рабочий набор ссылок, например, 512 токенов. Это позволяет латентности декодирования на каждом шаге и потреблению памяти оставаться почти постоянными, независимо от длины документа. В сочетании с технологией, которую Baidu называет Unlimited-Horizon Decoding, это дает модели возможность обрабатывать очень длинные входные данные в пределах конечного контекстного окна.
В собственном примере Baidu продемонстрировала, что модель смогла обработать все семь книг Гарри Поттера, превышающие 3600 страниц, за одну сессию.
Приведенные показатели основаны на собственных тестах компании. Baidu сообщает о достижении балла 84.6 на MPDocBench, который является бенчмарком для многостраничного парсинга, и 77.1 на MarathonDocBench — бенчмарке для документов из ста страниц, который Baidu опубликовала вместе с моделью на Hugging Face. Компания утверждает, что оба результата являются передовыми для сквозного парсинга и превосходят несколько общих моделей уровня флэш-тир, которые она тестировала.
В сценарии с 100 страницами отчет Baidu указывает, что SR-SWA декодирует каждый шаг в семь раз быстрее, чем полное внимание, и в 5,6 раза быстрее, чем предыдущая конструкция R-SWA. На момент написания статьи независимые оценки еще не были опубликованы.
Первая версия вызвала значительный интерес среди разработчиков. Baidu отмечает, что модель набрала более 10 миллионов загрузок на Hugging Face и 28 500 звезд на GitHub. В настоящее время модель работает с использованием Transformers для быстрых испытаний и SGLang для обслуживания. Baidu планирует представить больше информации о модели на мероприятии Baidu World 2026, которое состоится 12 ноября.

