Datalab випустила OmniParseBench: відкритий бенчмарк OCR із 16 288 тестами «пройдено/не пройдено» для аудиту OCR-парсерів

Datalab випустила OmniParseBench — відкритий OCR-бенчмарк для парсерів документів. Він оцінює парсери за допомогою 16 288 тестів «так/ні» на 2 937 сторінках із 2 343 документів. Сторінки охоплюють 92 мови. Датасет і код є загальнодоступними. Він допомагає інженерам отримати точнішу відповідь, ніж у таблиці лідерів: який парсер працює з документами, подібними до моїх? Datalab продає парсер, а його власний топовий режим Datalab accurate посідає друге місце в таблиці лідерів запуску, поступаючись Gemini 3.8 Flash.

Чи придатний він для розгортання? Так. OmniParseBench — це інструмент оцінювання, а не модель. Він встановлюється за допомогою uv pip install omni-parse-bench, потребує Python 3.11+ і оцінює результати офлайн без ключів API.

Коротко

• Розмір: 16 288 тестів, 2 937 сторінок, 2 343 документи, 22 набори, 92 мови.
• Працює на: будь-якій машині з Python 3.11+. Для оцінювання мережа не потрібна. Для запусків постачальників потрібен API-ключ кожного постачальника.
• Продуктивність: три найкращі заявлені системи розділяють лише 1,3 бала за головним показником.
• Найкращий результат: Gemini 3.8 Flash лідирує з показником 92,9; далі йде Datalab accurate з 92,7.*
• Підсумок: кожен показник — це частка тестів, пройдених із результатом «пройдено/не пройдено», яку можна розподіляти за тегами.

* використано під час створення деяких тестів

Що таке OmniParseBench?

OmniParseBench — це бенчмарк парсингу документів від Datalab, у якому кожен тест є запитанням «так/ні» щодо 1 сторінки. Показник парсера — це частка тестів, які він проходить. Datalab створила його, щоб зробити оцінювання зрозумілим, придатним для аудиту та дослідження.

Навіщо створювати ще один OCR-бенчмарк?

Datalab називає дві проблеми наявних бенчмарків. olmOCR-bench показав, що модульні тести «пройдено/не пройдено» працюють. Тепер Datalab називає його насиченим. На її думку, топові системи розділяють особливості форматування результатів і перенавчання, а не здатність читати. Кожен тест olmOCR-bench також належить до 1 категорії, визначеної джерелом його сторінки. Рукописна таблиця усереднюється в ту категорію, до якої потрапила її сторінка.

ParseBench від LlamaIndex розподіляє парсинг на 5 можливостей, кожна з власною метрикою. Datalab стверджує, що ці показники не мають спільної одиниці вимірювання, тому їх не можна коректно порівнювати або об’єднувати.

Як працює оцінювання в OmniParseBench?

Фінальний показник — це середнє значення 3 груп показників: текст, таблиці та макет. До цих груп входять 5 типів тестів:

• present: у тексті є текст, число або рівняння (текст)
• order: текст A розташований перед текстом B (текст)
• repeat: рядок з’являється рівно N разів (текст)
• table_cell: комірка розташована під заданими заголовками та поруч із заданими сусідніми комірками (таблиці)
• layout_kind: блок, що містить рядок, є заголовком, текстом або таблицею (макет)

Числа мають збігатися до кожної цифри, хоча 1,240 відповідає 1240. Рівняння порівнюються за тим, як їх відображає KaTeX, тому \frac{a}{b} дорівнює \dfrac{a}{b}. Кожне рішення має статус «пройдено», «не пройдено», «не підтримується» або «помилка». Останні 2 статуси не враховуються в жодному показнику. Жодна модель не оцінює результати; оцінювач має відкритий код.

Що додають теги та способи виведення?

Тест перевіряє один або кілька аргументів, кожен із яких є вмістом в одному місці на сторінці. Кожен аргумент має теги за 5 осями: структура, відображення, роль, писемність і мова. Для писемностей використовуються коди ISO 15924; для мов — коди ISO 639-3. Теги ніколи не визначають вердикт або головний показник. Вони лише вибирають тести, тому кожна вибірка отримує власний показник.

Тег table охоплює 6 767 тестів на 1 000 сторінках із 875 документів. Англійська мова охоплює 10 089 тестів. Неанглійські мови охоплюють 1 931 тест на 529 сторінках із 321 документа.

Кожен тест також фіксує спосіб виведення, тобто те, як було встановлено його відповідь. Існує 10 способів виведення. Серед них — JATS XML видавця, текстовий шар PDF, створені авторами сторінки, тести olmOCR-bench, панелі моделей і перевірка людьми.

Які результати запуску OmniParseBench?

*Використано під час створення та перевірки принаймні деяких тестів, за даними Datalab.

Claude Sonnet 5.5 показує найкращі результати для тексту (93,1) і таблиць (95,4). Його показник макета 77,5 знижує головний показник до 88,7. Reducto лідирує за макетом із результатом 95,8. Datalab також побудувала графік головного показника кожного парсера залежно від медіанної затримки та ціни за 1 000 сторінок. Затримку вимірювали на 200 вибраних сторінках, надсилаючи по 8 сторінок за раз.

Datalab не очолює власний бенчмарк. Вона позначає дві моделі, які допомагали створювати тести, і закликає читачів зважати на те, що сама продає парсер. Компанія зобов’язується повідомляти показники OmniParseBench для майбутніх релізів. Її порада: найкращий бенчмарк — це ваші власні документи.

Як запустити OmniParseBench?

uv pip install omni-parse-bench                 # score(): без мережі, без ключів API
uv pip install 'omni-parse-bench[harness]'      # + адаптери постачальників, для прогнозування
uv pip install 'omni-parse-bench[benchmark]'    # + доступ до датасету, для запуску бенчмарку
opb benchmark --out runs/ --limit 5 --providers datalab openai/gpt-5.6-sol

Постачальникам потрібні такі ключі, як DATALAB_API_KEY або OPENROUTER_API_KEY. CLI показує свій план і запитує дозвіл перед зверненням до будь-якого постачальника. Запуски можна відновлювати. У посібнику із запитів показано, як порівнювати запуски за тегом, набором або типом тесту.

OmniParseBench проти olmOCR-bench, ParseBench і OmniDocBench

Ключові висновки

• 16 288 тестів «так/ні» на 2 937 сторінках 92 мовами.
• Головний показник = середнє значення часток пройдених тестів для тексту, таблиць і макета.
• Теги дають змогу розподіляти результати; вони ніколи не змінюють вердикт.
• Datalab створила цей бенчмарк і посідає друге місце: Gemini 3.8 Flash — 92,9*, Datalab accurate — 92,7.
• Код Apache 2.0; оцінювання виконується офлайн без ключів API.

* використано під час створення деяких тестів

Ознайомтеся з публікацією в блозі, датасетом і репозиторієм GitHub.

_{Дякуємо команді Datalab за ресурси, використані для цієї статті. Datalab підтримала та профінансувала цей матеріал.}