Одна из самых недооценённых причин, почему языковые модели путают факты, лежит не в архитектуре и не в размере обучающей выборки. Она лежит в том, как оцифровывали книги двадцать лет назад. Hugging Face и EleutherAI запустили проект FineBooks и первым делом измерили масштаб бедствия — он оказался неприличным.

Тридцать процентов вместо ста

Миллионы книг попали в обучающие корпуса не текстом, а картинками, через которые в нулевых прогнали распознавание. Тогдашний OCR работал как умел: путал буквы, склеивал слова, ронял строки, превращал таблицы в кашу. Этот текст никто не перечитывал — он просто лёг в датасет и уехал в обучение.

Проект Talkie поставил чистый эксперимент: взяли одни и те же книги и обучили одну и ту же модель — сначала на старом OCR-тексте, потом на человеческих транскрипциях.

Модель, обученная на OCR-тексте, училась с эффективностью 30% от той, что училась на человеческой расшифровке тех же самых книг.

То есть три четверти вычислений, электричества и денег уходят в пустоту — модель добросовестно заучивает чужие ошибки распознавания вместо содержания книги. Это не «немного шума в данных». Это значит, что за одни и те же деньги вы получаете втрое меньше знаний.

Можно ли просто перечитать всё заново

Очевидное решение — прогнать сканы через современные модели зрения. Неочевидный вопрос — справятся ли они. FineBooks собрали эталон: 2165 страниц исторических книг, расшифрованных экспертами вручную ещё в 2011–2012 годах в рамках проектов IMPACT и BHL-Europe. Качество эталона — примерно одна ошибка на две тысячи символов. Языки: английский, французский, немецкий и латынь.

На этом эталоне прогнали 14 открытых OCR-моделей. Главный сюрприз — маленькие модели регулярно обходили больших. Тройка лидеров: dots.mocr (3B) — 97,6% точности при $1,94 за тысячу страниц; OvisOCR2 (0,9B) — 96,9% при $0,46; PaddleOCR-VL-1.6 (1B) — 96,1% при $0,34.

Обратите внимание на последнюю строку: модель на миллиард параметров теряет полтора процента точности относительно лидера, но стоит в шесть раз дешевле. На объёмах в сотни тысяч книг это разница между «проект есть» и «проекта нет».

Почему это важно

Вывод исследователей аккуратный и честный: полученный текст достаточно хорош, чтобы учить на нём ИИ, но всё ещё слишком грязен для научной работы — филологу такая расшифровка не подойдёт. Зато для обучения моделей планка взята.

Дальше FineBooks собирается перераспознать около 200 тысяч изданий из Biodiversity Heritage Library — библиотеки, где лежит больше 300 тысяч оцифрованных трудов по естественной истории, — и выложить результат открытыми датасетами. Эталон уже опубликован под лицензией CC-BY, лидерборд и код проверки открыты.

Смысл истории шире одной библиотеки. Индустрия последние годы гналась за архитектурами и параметрами, а под ногами всё это время лежал бесплатный множитель качества: перечитать заново то, что уже есть. Не собрать новые данные, а починить старые.

Источник: The Decoder · Исследование: блог FineBooks на Hugging Face

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Предложена новая компактная (0.8B) сквозная (end-to-end) модель OvisOCR2 (https://huggingface.co/ATH-MaaS/OvisOCR2) на базе Qwen3.5-0.8B для парсинга документов, преобразующая изображения страниц в Markdown с сохранением текста, формул, таблиц, визуальных областей и порядка чтения.

Реальные данные размечали специализированными OCR-парсерами (PaddleOCR-VL-1.5, MinerU2.5-Pro), унифицируя в Markdown через правила, жёстко фильтруя и выборочно проверяя вручную. Синтетические данные включали порождённые из трудных примеров HTML-шаблоны, агентное разнообразие контента и структуры, рендеринг страниц и извлечение точной Markdown-разметки из того же HTML-источника, дополненные циклическим контролем качества.

Обучение проводилось с применением SFT на смеси реальных и синтетических данных для получения базовой политики, а далее использовался RL (GRPO) на 4B-ветке с многокомпонентной наградой (текст оценивали по расстоянию редактирования, формулы по CDM, таблицы по TEDS) на основе текущей стратегии и отфильтрованных сложных примеров. С помощью дистилляции на основе текущей стратегии (обратной KL Top-k) поведение стабильно перенесли с 4B RL-учителя на 0.8B студента. Под конец объединили модели, усредняя веса нескольких кандидатов.

В результате первая сквозная модель SOTA, обогнавшая пайплайновые методы, продемонстрировала общий балл 96.58 на OmniDocBench v1.6 и лучший показатель Avg3 75.06 на PureDocBench в категориях чистых и цифровых документов, заняв первое место. Внутренний бенчмарк присвоил ей наивысший общий балл и лидерство на всех уровнях сложности, особенно на подвыборках рукописных документов и сложных таблиц (минимальный процент пропущенных таблиц).

Показана новая открытая модель lift (https://huggingface.co/datalab-to/lift) на 9B для извлечения структурированного JSON из PDF и изображений по JSON-схеме под лицензиями Apache 2.0 (код) и OpenRAIL-M (веса, бесплатно для исследований, личного пользования и стартапов с бюджетом менее $5M).

Набранные 90.2% точности по полям на бенчмарке из 225 документов (примерно 11 000 полей) сделали её лучшей среди небольших локально развёрнутых моделей, а стандартная скорость 9.5 с на документ оказалась быстрее конкурентов при высокой точности.

Обработка многостраничных документов (включая значения на стыке страниц) происходит за один проход всегда с выдачей валидного JSON согласно схеме и придерживаясь "воздержания по умолчанию", оставляя поле null, если данных нет, чтобы избежать галлюцинаций.

Запланировали в будущем повысить точность, улучшить работу с длинными документами и более плотно поддерживать схемы.

В результате локально развёрнутого сравнения 90.2% у lift, 81.5% у NuExtract3 (4B) и 76.3% у Qwen3.5-9B.

Базой выбрали DeepSeek OCR, включающий DeepEncoder с высокой компрессией и MoE-архитектуру с 3B параметров, из которых 0.5B активны.

Архитектура R-SWA даёт каждому токену видеть все референс-токены (визуальные и промт) и лишь последние n выходных токенов (по умолчанию 128), поэтому KV-кеш постоянен и визуальные признаки не "размываются", так как исключены из переходов состояний.

Сейчас истинно неограниченный парсинг упирается в длину входной обработки, хотя в будущем планируют удлинить контекст и встроить механизм динамической подгрузки этих данных. Притом R-SWA перспективно для ASR, перевода и других задач с длинным горизонтом.

В результате общая оценка набрала 93% на OmniDocBench v1.5 (+6% к базовому DeepSeek OCR). Была реализована возможность однопроходного парсинга десятков страниц документа при фиксированном KV-кеше и постоянной скорости декодирования, а при 6K токенов вывода скорость (TPS) на 35% выше, чем у DeepSeek OCR, за счёт устранения линейного роста затрат.