Китайская стартап-команда SoMark, специализирующаяся на интеллектуальном анализе документов, сделала модель OXR, расшифровываемую как Optical Everything Recognition, общедоступной. Основная модель, OXR-1.0, имеет всего 1,3 миллиарда параметров и способна преобразовывать PDF-файлы и изображения документов в форматы Markdown или JSON, включая координаты расположения элементов, что команда описывает как удобное для агентов представление данных.
Код и веса модели доступны на платформах GitHub, Hugging Face и ModelScope, а также предоставляется онлайн-демонстрация и бесплатный API.
Результаты тестирования и возможности модели
Согласно официальному репозиторию, OXR занимает первое место в трех публичных бенчмарках: 97.18 баллов на OmniDocBench, 87.84 на olmOCR-Bench и 87.76 на DocParsingBench, при этом демонстрируя особенно значительное преимущество в парсинге таблиц. Команда публикует полные результаты и инструкции по воспроизведению в своей документации по бенчмаркам.
В ходе теста производительности, проведенного на одной карте RTX PRO 6000 Blackwell с 96 ГБ памяти, OXR обработал 100 случайно выбранных страниц OmniDocBench примерно за 101 секунду. Это было быстрее, чем PaddleOCR-VL-1.6 (примерно 145 секунд) и MinerU2.5-Pro (255 секунд).
Модель распознает 13 типов элементов, среди которых текст, заголовки, таблицы, формулы, штампы, блоки кода, химические уравнения и химические структуры. Таблицы выводятся в формате HTML или Markdown, формулы — в LaTeX, химические уравнения — в синтаксисе mhchem, а молекулярные структуры — в строках SMILES. Кроме того, модель определяет порядок чтения, что критически важно для многоколоночных материалов, таких как газеты, научные статьи и экзаменационные листы, где правильно распознанные блоки могут быть собраны в неправильной последовательности.
Инновационные архитектурные решения
Выделяются два ключевых дизайнерских решения. Во-первых, легкая модель компоновки отвечает за определение областей, в то время как основная модель выполняет распознавание контента и определение порядка чтения в рамках одного шага, исключая отдельный этап упорядочивания. SoMark утверждает, что это первая реализация, делающая модуль компоновки независимым и подключаемым, позволяя бизнесу заменить собственный модуль компоновки с другими категориями элементов или границами областей, сохраняя при этом распознавание OXR.
Во-вторых, после обучения используется цикл рекурсивного самосовершенствования: OXR обрабатывает неразмеченные документы, внешние модели оценивают полученный результат и диагностируют ошибки, кластеризационная модель группирует сбои по причинам, и для следующего раунда генерируются целевые обучающие данные без необходимости ручной разметки.
Команда сообщила, что репозиторий набрал 1000 звезд на GitHub в первую неделю. О публикации научной статьи на arXiv анонсировано в ближайшее время. Для разработчиков, создающих конвейеры генерации с дополненным поиском (retrieval-augmented generation) или агентские пайплайны, OXR представляет собой небольшой, быстрый и открытый вариант для преобразования сложных документов в структурированный ввод.