Серия «Новости»

В процессе RL модель училась решать задачу и генерировать для неё вспомогательные структуры, динамически создавая стратегии, направляющие процесс решения. На каждом шаге RL модель сначала предлагала улучшенный каркас, затем на его основе генерировала траекторию, при этом награда оптимизировала оба этапа совместно.

Борясь со взломом системы вознаграждения, защиту разбили на три уровня. Внешние границы (окружение, инструменты, изоляция тестов) сделали неизменяемыми. Попытки чтения запрещённых файлов или модификации скриптов отсекли детерминированным монитором, обнуляя награду. Скрытые манипуляции, не нарушающие формальные правила, отсеивали замороженным LLM-судьёй.

Для длинных траекторий применяли конвейерный RL с экспоненциальным затуханием весов токенов по их возрасту, чтобы смягчить проблему генерации вне политики.

В результате Ornith-1.0-397B показывает state-of-the-art среди open-source, набрав 77.5 на Terminal-Bench 2.1 и 82.4 на SWE-Bench Verified, превосходя Claude Opus 4.7 и сравнимые открытые модели (MiniMax M3, DeepSeek-V4-Pro). Компактная 9B-версия обошла гораздо более крупные модели (Gemma 4-31B), обеспечив сильные агентные способности на периферийных устройствах.

Описана первая нативная модель мира Qwen-AgentWorld (https://huggingface.co/collections/Qwen/qwen-agentworld), охватывающая 7 доменов (MCP, Search, Terminal, SWE, Android, Web, OS) через длинные цепочки рассуждений для общих агентов, позволяющая предсказывать состояние среды по истории взаимодействий и действию агента, дополняя политику.

Первая стадия обучения CPT ввела знания о динамике сред и предметных областях (более 10 млн траекторий и спецкорпуса), вторая стадия SFT активировала явное предсказание следующего состояния как шаблона мышления, третья стадия RL повысила точность симуляции с помощью гибридной награды (рубрики ИИ-судьи и детерминированные правила).

Симуляцию сред успешно масштабировали, воспроизведя тысячи сред (например, 4k реальных OpenClaw) без инфраструктуры. Выполненное на симулированных средах RL агента дало прирост на реальных бенчмарках (Claw-Eval +4.3, QwenClawBench +7.1). Контроль целевыми инъекциями возмущений (ошибки, неполные ответы) в процессе тренировки агента позволил превзойти обучение только на реальных средах (MCPMark +12.3, WideSearch +16.3), а реалистичные вымышленные миры для поискового RL предотвратили утечку параметрических знаний.

LWM-тренировка, применённая как основа агента, послужила разогревом перед прикладными задачами, улучшая показатели на 7 агентных бенчмарках (Terminal-Bench 2.0, SWE-Bench, WideSearch, Claw-Eval и других) за счёт способности мысленно моделировать реакцию среды до совершения действия.

В результате оценки 5 измерений (формат, фактологичность, согласованность, реалистичность и качество) бенчмарк AgentWorldBench, состоящий из реальных взаимодействий 5 передовых моделей на 9 классических задачах, продемонстрировал превосходство Qwen-AgentWorld-397B-A17B над всеми передовыми моделями (средний балл 58.71 против 58.25 у GPT-5.4).

Базой выбрали DeepSeek OCR, включающий DeepEncoder с высокой компрессией и MoE-архитектуру с 3B параметров, из которых 0.5B активны.

Архитектура R-SWA даёт каждому токену видеть все референс-токены (визуальные и промт) и лишь последние n выходных токенов (по умолчанию 128), поэтому KV-кеш постоянен и визуальные признаки не "размываются", так как исключены из переходов состояний.

Сейчас истинно неограниченный парсинг упирается в длину входной обработки, хотя в будущем планируют удлинить контекст и встроить механизм динамической подгрузки этих данных. Притом R-SWA перспективно для ASR, перевода и других задач с длинным горизонтом.

В результате общая оценка набрала 93% на OmniDocBench v1.5 (+6% к базовому DeepSeek OCR). Была реализована возможность однопроходного парсинга десятков страниц документа при фиксированном KV-кеше и постоянной скорости декодирования, а при 6K токенов вывода скорость (TPS) на 35% выше, чем у DeepSeek OCR, за счёт устранения линейного роста затрат.

Версия Embedding создаёт один плотный вектор на документ, стремясь получить максимальную скорость при минимальном размере индекса, а версия ColBERT генерирует по одному вектору на токен, используя позднее взаимодействие (MaxSim) и обеспечивая повышенную способность к обобщению, хотя индекс становится больше.

Архитектуру модифицировали, и каузальную маску заменили на двунаправленную, что позволило каждому токену видеть левый и правый контекст. Короткие свёртки LFM2 сделали некаузальными (симметричное локальное смешивание). Из общего двунаправленного энкодера достают либо CLS‑пулинг (Embedding), либо токенные эмбеддинги (ColBERT).

На первой стадии обучения проходило крупномасштабное сопоставительное предобучение на английском. Затем следовала стадия мультиязычной и кросс‑язычной дистилляции с сильного учителя (все 11 языков). Конечной стадией была тонкая настройка на сложных негативных примерах. Для всего процесса потребовались данные, извлечённые из курируемых внутренних и открытых английских датасетов, LLM‑перевод запросов и документов, чтобы расширить мультиязычность.

В результате обе модели имеют лучшие в классе показатели с 350M параметров по всем 11 языкам (арабский, немецкий, английский, испанский, французский, итальянский, японский, корейский, норвежский, португальский и шведский), пройдя мультиязычный поиск NanoBEIR, где NanoBEIR English признан подходящим заменителем для полного BEIR (корреляция, сдвиг около 15%), и кросс‑язычные ответы на вопросы MKQA‑11.

Проблему смогли решить, применив модульное латентное нейросетевое ядро с multi-head токенизатором и прогрессивной генерацией (от траектории корня к позе), достигающей 15 000 FPS при задержке 2 мс. Его совместили с интерфейсом "умных примитивов" Smart Primitives (передвижение, взаимодействие с объектами), который преобразует команды пользователя в целевые ключевые кадры для ядра без файнтюнинга или тегов (zero-shot).

В результате получено качество уровня SOTA на датасетах до 350k клипов, подготовлено демо в UE5 с разнообразным передвижением, акробатикой и взаимодействием с объектами, а также осуществлено развёртывание на роботе Unitree G1 для полнотельного управления.

Решением стал специализированный под-агент FastContext для разведки репозитория, отделённый от основного решающего агента, который вызывается по запросу, выполняет параллельные вызовы инструментов (Read, Glob, Grep) и возвращает компактный контекст с путями к файлам и диапазонами строк.

Исследовательские модели размером 4B-30B параметров обучались в два этапа. На первом этапе метод SFT (имитация) использовал траектории сильной модели для широкого поиска, сбора улик за несколько шагов и точного цитирования. На втором этапе пошёл метод RL с наградой, привязанной к релевантным строкам из эталонного патча.

В результате в составе Mini-SWE-Agent (бенчмарки SWE-bench Multilingual, Pro, SWE-QA) доля решённых задач повысилась до +5,5%, а расходы токенов основного агента сократились до 60% при минимальных накладных расходах на исследователя.