Исследователи Nvidia взяли фронтирную модель, не тронули ни один её вес — и результат на интерактивном бенчмарке ARC-AGI-3 вырос с 30 до 100 процентов. Поменялась только программная оболочка вокруг модели. Ту самую оболочку в индустрии называют харнесс — обвязка.

Что такое обвязка и почему её обычно не замечают

Харнесс — это всё, что окружает модель в работающем агенте: набор инструментов, управление памятью и контекстом, правила остановки, циклы перепроверки. Мозг у агента один, но именно обвязка решает, сколько раз он подумает, что запомнит и когда признает, что зашёл в тупик. В публичных рейтингах этого слоя нет вообще — там сравнивают голые модели.

ARC-AGI-3, на котором ставили эксперимент, устроен жёстко: это набор двумерных игр, к которым не прилагается никаких инструкций. Модель должна сама сообразить, по каким правилам играет и как выиграть. Это проверка не эрудиции, а способности вести длинную осмысленную линию поведения — ровно то, на чём агенты обычно и сыплются.

Что сделала Nvidia

Компания собрала расширенный харнесс под названием Agentic Variation Operators (AVO). Ключевая деталь — надстроенный «наблюдающий агент», который следит за основным и вмешивается, когда тот буксует или уходит в бесплодную ветку. По сути, над исполнителем поставили руководителя. Это заметный отход от привычной схемы одиночного цикла, на которой работают Claude Code и Codex.

Адель Эль Халлак, вице-президент по продуктам ИИ-подразделения Nvidia, формулирует это прямо:

Агент — это на самом деле больше, чем модель. Это и модель, и строительные леса вокруг неё, которые мы называем харнессом.

Почему это важно

Практический вывод неприятный для всех, кто выбирает модель по таблице лидеров: цифра в рейтинге всё хуже предсказывает, как система поведёт себя на реальной длинной задаче. Одна и та же модель может дать и 30%, и 100% — разница целиком в инженерии вокруг. OpenAI и сама недавно признавала, что небольшие правки обвязки заметно двигают результаты на бенчмарках, — правда, до уровня Nvidia там не дошло.

Стоит помнить и про интерес рассказчика: Nvidia продвигает тезис об открытых харнессах, потому что её собственная экосистема Nemo — как раз про то, чтобы отдать пользователю все ручки. Но сам замер от этого не перестаёт быть замером: за громкими релизами моделей давно стоит вторая, куда менее заметная гонка — за обвязку.

Источник: TechCrunch

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Исследователи из IIT Bombay и Adobe Research обучили «обратную» языковую модель, которая по готовому тексту ответа восстанавливает исходный запрос — без доступа к весам и логитам целевой модели. Заголовки уже хоронят секретные системные промпты. Мы полезли в саму работу — там всё интереснее и честнее.

Зеркальная языковая модель

Обычная языковая модель устроена просто: предсказывает следующий токен за предыдущими. Авторы работы — Пирзада Сухайл, Нагасаи Сакетх Найду, Атану Синха и Амит Сетхи — развернули стрелку времени и обучили модель предсказывать токен предыдущий. Метод так и называется: previous-token prediction, PTP.

Самое неприятное для тех, кто прячет промпты, — как эту инверсную модель готовят. Её не дообучают на чужих датасетах и не лезут внутрь целевой модели: её учат с нуля на данных, которые сама же жертва и нагенерировала по запросам снаружи. Прежние методы инверсии требовали весов или логитов, то есть доступа, которого у атакующего обычно нет. Здесь хватает чёрного ящика с API.

Цифры, которых нет в заголовках

На Qwen3-0.6B в чат-версии инверсная модель восстанавливает промпт слово в слово в 64,77 процента случаев, BLEU — 63,08, косинусная близость по смыслу — 86,13. На базовой версии без чат-тюна точное совпадение падает до 35,14 процента.

Это не «почти идеально», но отрыв от предшественников разгромный. Лучший прежний метод на том же тесте давал 25,44 процента точных попаданий, а подход через обратный промпт-инжиниринг — вообще 0,64 процента. Разрыв почти в сто раз.

А что с большими моделями

Здесь самый отрезвляющий опыт. Инверсную модель, обученную на крохотном Qwen, натравили на ответы GPT-4o. Дословно угадано всего 11,36 процента промптов — зато смысловая близость держится на 63 процентах, а у восстановленных ответов на 81,57. Перевод на человеческий: точную формулировку чужого запроса вы не достанете, а вот о чём он был — вполне.

В статье есть наглядный пример. Оригинальный запрос звучал как «Как выйти на конкурентов, чтобы узнать их ценовые стратегии?». Инверсная модель выдала несколько вариантов, среди них — дословно тот же вопрос и два пересказа той же задачи другими словами. Когда эти реконструкции скормили исходной модели обратно, она выдала по смыслу те же ответы.

Где тонко

Авторы честно перечисляют ограничения. Чтобы нагенерить обучающие данные, нужно прогнать весь словарь целевой модели — у Qwen это около 150 тысяч токенов, то есть счёт за API выйдет заметный. Для дообучения всё равно нужны реальные пары запрос–ответ, хоть и немного: в работе хватило 400 промптов из ShareGPT. И главное — всё проверялось на коротких запросах в одно-два предложения. Длинные системные промпты на несколько абзацев, те самые, что и стоят денег, не тестировались вовсе.

Почему это важно

Последние годы целая индустрия строится на допущении, что системный промпт — это актив, который можно спрятать. В нём живут правила модерации, фирменные сценарии и вся секретная кухня стартапов, чей продукт — обёртка вокруг чужой модели. PTP пока не вскрывает такие промпты целиком, но показывает направление удара: каждый опубликованный ответ модели — это утечка того, что её об этом попросили.

Вторая сторона неприятнее. Если по тексту ответа восстанавливается запрос, то любой выложенный в сеть фрагмент переписки с ботом потенциально выдаёт, о чём человек спрашивал — включая то, что он аккуратно вырезал перед публикацией.

Источники: The Decoder, arXiv

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Одна из самых недооценённых причин, почему языковые модели путают факты, лежит не в архитектуре и не в размере обучающей выборки. Она лежит в том, как оцифровывали книги двадцать лет назад. Hugging Face и EleutherAI запустили проект FineBooks и первым делом измерили масштаб бедствия — он оказался неприличным.

Тридцать процентов вместо ста

Миллионы книг попали в обучающие корпуса не текстом, а картинками, через которые в нулевых прогнали распознавание. Тогдашний OCR работал как умел: путал буквы, склеивал слова, ронял строки, превращал таблицы в кашу. Этот текст никто не перечитывал — он просто лёг в датасет и уехал в обучение.

Проект Talkie поставил чистый эксперимент: взяли одни и те же книги и обучили одну и ту же модель — сначала на старом OCR-тексте, потом на человеческих транскрипциях.

Модель, обученная на OCR-тексте, училась с эффективностью 30% от той, что училась на человеческой расшифровке тех же самых книг.

То есть три четверти вычислений, электричества и денег уходят в пустоту — модель добросовестно заучивает чужие ошибки распознавания вместо содержания книги. Это не «немного шума в данных». Это значит, что за одни и те же деньги вы получаете втрое меньше знаний.

Можно ли просто перечитать всё заново

Очевидное решение — прогнать сканы через современные модели зрения. Неочевидный вопрос — справятся ли они. FineBooks собрали эталон: 2165 страниц исторических книг, расшифрованных экспертами вручную ещё в 2011–2012 годах в рамках проектов IMPACT и BHL-Europe. Качество эталона — примерно одна ошибка на две тысячи символов. Языки: английский, французский, немецкий и латынь.

На этом эталоне прогнали 14 открытых OCR-моделей. Главный сюрприз — маленькие модели регулярно обходили больших. Тройка лидеров: dots.mocr (3B) — 97,6% точности при $1,94 за тысячу страниц; OvisOCR2 (0,9B) — 96,9% при $0,46; PaddleOCR-VL-1.6 (1B) — 96,1% при $0,34.

Обратите внимание на последнюю строку: модель на миллиард параметров теряет полтора процента точности относительно лидера, но стоит в шесть раз дешевле. На объёмах в сотни тысяч книг это разница между «проект есть» и «проекта нет».

Почему это важно

Вывод исследователей аккуратный и честный: полученный текст достаточно хорош, чтобы учить на нём ИИ, но всё ещё слишком грязен для научной работы — филологу такая расшифровка не подойдёт. Зато для обучения моделей планка взята.

Дальше FineBooks собирается перераспознать около 200 тысяч изданий из Biodiversity Heritage Library — библиотеки, где лежит больше 300 тысяч оцифрованных трудов по естественной истории, — и выложить результат открытыми датасетами. Эталон уже опубликован под лицензией CC-BY, лидерборд и код проверки открыты.

Смысл истории шире одной библиотеки. Индустрия последние годы гналась за архитектурами и параметрами, а под ногами всё это время лежал бесплатный множитель качества: перечитать заново то, что уже есть. Не собрать новые данные, а починить старые.

Источник: The Decoder · Исследование: блог FineBooks на Hugging Face

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей