Китайская OXR с 1,3 млрд параметров обошла тяжёлых конкурентов в трёх бенчмарках

Китайская команда SoMarkAI выкатила открытую модель распознавания документов OXR, которая с ходу заняла первое место в трёх мировых бенчмарках. Речь о 1,3-миллиардном параметрическом «малыше», который, тем не менее, обошёл куда более тяжёлых конкурентов в задачах разбора PDF, сканов и рукописей. На OmniDocBench модель набрала 97,18 балла, на olmOCR-Bench — 87,84, а на DocParsingBench — 87,76. Все три набора покрывают разные типы сложных документов: от научных статей до финансовой отчётности и химических схем.

Самое интересное в OXR — это то, как команда добилась такого качества. Вместо бесконечной ручной разметки, которая в документах обходится баснословно дорого и всё равно не покрывает все мыслимые варианты вёрстки, инженеры сделали ставку на рекурсивное самоулучшение, или RSI. Логика проста: у разбора документов есть редкое свойство — почти для любого входа существует объективно проверяемый правильный ответ. Значит, модель может сама находить свои ошибки, анализировать их причины и готовить данные для следующего раунда тренировки без участия человека.

Процесс разбит на три этапа. Сначала OXR прогоняет через себя гору неразмеченных документов, а вспомогательная мультимодальная модель сортирует результаты на три категории: верно, ошибочно и неуверенно. Третья категория — важная деталь. Если заставлять систему выбирать только между чёрным и белым, её колебания превращаются в ложную уверенность и отравляют следующий цикл обучения. Кроме того, модель несколько раз прогоняет один и тот же документ: если результаты сильно расходятся, образец отправляется в «неуверенную» корзину, даже если один из ответов случайно оказался правильным. Потом к таким образцам добавляют лёгкие искажения — масштабирование, сжатие, размытие, сдвиг. Если расхождения растут, значит, модель слишком чувствительна к безобидным визуальным изменениям, и это фиксируется как отдельная проблема.

На втором этапе система ставит диагноз каждому слабому образцу: где именно произошёл сбой — в выравнивании ячеек таблицы, в распознавании рукописных формул, в порядке чтения колонок. Причины формулируются на естественном языке, затем кластеризуются, и на выходе получаются чёткие «кластеры причин». Финансовый отчёт и протокол химического опыта могут выглядеть совершенно по-разному, но если оба провалились на редкой структуре с объединёнными ячейками, система сведёт их в одну проблемную зону.

Третий этап — генерация данных под конкретные слабые места. Генератор берёт стиль вёрстки из реальных документов, встраивает в них проблемные структуры и дополнительно прогоняет через найденные ранее визуальные уязвимости, чтобы модель к ним привыкла. Синтетика проходит строгую проверку и возвращается в тренировку. Цикл повторяется: новые реальные документы вскрывают новые слабости, и точность растёт от итерации к итерации. Именно поэтому модель с 1,3 млрд параметров не нуждается в гигантском размере, чтобы запоминать всё на свете.

Скорость — второй козырь OXR. На одной видеокарте RTX PRO 6000 разбор ста страниц от начала до конца занимает 101 секунду, и это лучший результат среди открытых решений. Секрет не только в компактности. Команда переработала саму архитектуру конвейера: отдельная лёгкая модель отвечает за анализ вёрстки, а основная модель OXR одновременно распознаёт содержимое и определяет порядок чтения. Раньше эти задачи тянули за собой лишние накладные расходы, теперь же определение порядка чтения опирается на понимание смысла текста и потому работает точнее и быстрее. А модуль анализа вёрстки стал полностью заменяемым: если бизнесу нужны особые правила разметки — скажем, для старинных книг или медицинских бланков — можно подставить свою модель, сохранив мощное распознавание OXR.

Для разработчиков команда выложила код, веса и весь процесс воспроизведения бенчмарков, а также запустила бесплатный API без регистрации и ключей. Модель уже собрала больше 1100 звёзд на GitHub и на время попала в тренды обсуждений. Локально её тоже можно поднять через популярные фреймворки и официальный Docker-образ. Есть и коммерческий движок SoMark для тех, кому нужны Word, PowerPoint, Excel и тонкая постобработка.

Главный же вывод новости шире одной модели. Пока индустрия гоняется за всё более умными чат-ботами, огромный пласт корпоративных знаний продолжает лежать в криво свёрстанных PDF и сканах. Если на входе у агента каша из перемешанных колонок и развалившихся таблиц, на выходе будет только галлюцинация. OXR претендует на роль того самого моста, который превращает хаотичные документы в аккуратные структурированные данные, пригодные для машинной работы.