Серия «Новости»

Мышление переключается между "мышлением", "без мышления" и режимом низких усилий (короткое рассуждение для простых задач). Вызовы инструментов нативно поддерживаются и совместимы с форматом OpenAI.

Архитектура трансформера только с декодером эксплуатирует GQA, RoPE (θ=10M), SwiGLU, RMSNorm и раздельные эмбеддинги, причём версии 3B, 8B и 30B имеют 40, 40 и 64 слоя соответственно.

Претрейнинг начался с нуля на токенах объёмом около 15T, следуя стратегии из 5 фаз, отталкиваясь от веб-данных к высококачественному миксу и удлинению контекста.

Обучение с учителем (SFT) обладало объёмом около 7.2 млн сэмплов (примерно 100B токенов) и состояло из 31.6% агентных данных (код, терминал, поиск) и 68.4% неагентных (инструкции, код, математика), где качество контролировали LLM-судьями (GPT-OSS, Gemma), удаляя галлюцинации, битые вызовы инструментов и дубликаты, а у 30B была вторая фаза SFT с упором на агентный код.

Многостадийное и мультисредовое обучение с подкреплением (RL) осуществлялось по алгоритму Async GRPO (без сети оценки, групповые преимущества) на инфраструктуре из NeMo-RL (тренинг) и NeMo-Gym (среды).

На фундаментальном (все модели) этапе RL использовали RLVR с проверяемыми наградами (математика, код, наука, инструкции) и бустеры с короткими прогонами для прокачки навыков (IF, GPQA, код). На агентном (только 8B и 30B) этапе RL применили SWE Agent для решения задач в реальных репозиториях с тестами (OpenHands), Terminal Agent для работы в живом терминале (Harbor и Terminus) и Search Agent для многопроходного поиска в вебе (награда от LLM-судьи). На финальном (все модели) этапе RL прибегли к RLHF для юстировки под предпочтения человека и безопасность (с штрафом за длину рассуждений).

Версия 3B подверглась только фундаментальному RL и RLHF, в отличие от версий 8B и 30B, прошедших полный цикл, включая агентные стадии (от SWE до Terminal и Search).

Инфраструктура основывается на железе кластера NVIDIA GB200 NVL72 и софте из контейнеров .sqsh, PyTorch и NeMo-RL.

В результате 30B лидирует с 57.0 на SWE-Bench Verified и 89.17 на AIME25. 8B силен в агентности за свой размер с 47.67 на SWE-Bench и 50.29 на BFCL. 3B хорош в базовых задачах с 78.33 на AIME25.

Конвейер генерирует многоракурсные видео, далее реконструируя их гауссовым 4D облаком частиц (4DGS).

Однако при десятках целевых видов видеодиффузия теряет межракурсную согласованность из-за ограниченного контекста внимания DiT, поскольку референс-контекст растёт как O(N) и группы видов очищаются от шума раздельно, вызывая структурный дрейф.

Упаковка референсного контекста (RCP) сжимает растущие референс-виды в фиксированный контекст смешанного разрешения со сложностью O(1). Маршрутизация целевого контекста (TCR) при высоком шуме циклически перегруппировывает виды для обмена глобальной структурой, а при низком фиксирует соседние группы для стабилизации деталей. Скелетное обусловливание использует вместо плотной глубины надёжные 3D-скелеты, устраняя неоднозначность 2D-поз рендерингом с буфером глубины.

Имеющиеся данные дополнили новыми синтетическими датасетами MVGameHuman, SynCamVideo, DNA-Rendering и монокулярными материалами Pexels и TedTalk для трёхстадийного обучения на базе Wan2.2-TI2V-5B с функцией потерь, основанной на латентном сопоставлении потоков и LPIPS.

Ограничения возникают из-за плохо задаваемой скелетом свободной одежды и наследуемых во все сгенерированные виды ошибки оценки позы.

В результате модель превосходит MV-Performer, TrajectoryCrafter и ReCamMaster на DNA-Rendering и DyMVHumans по PSNR, SSIM и LPIPS, устойчиво обобщаясь на произвольные видео.

В видеогенерации нет ясной связи "масштаб модели влияет на качество генерации", в отличие от LLM, но Magi-2 (https://huggingface.co/sand-ai/MAGI-2-preview) исследует, как эффективно масштабировать видеогенерацию.

Архитектура обладает единой последовательностью токенов для текста, видео и аудио в одном трансформере (однопоточном) и, чтобы упростить масштабирование Magi-2, не переносит авторегрессионное разбиение из Magi-1.

Сверхмелкозернистый MagiMoE содержит около 114B параметров и примерно 6B активных на токен, насчитывая всего 40 слоёв, из которых 36 средних MoE-слоёв и 4 граничных плотных слоя. Скрытая размерность равна 3072 с 12 головами по 256 измерений. Каждая голова задействует свой роутер и 256 экспертов с активацией топ-6. Эксперт FFN работает с размерностями от 256 до 1280 и снова 256, используя SwiGLU.

Многоголовочный латентный MoE и параллелизм голов делят токен на независимые низкоразмерные головы с фиксированной коммуникацией, обмениваясь головами до роутинга и оставляя динамический Top-k локальным.

Иерархический параллелизм голов позволяет фиксированно обмениваться головами в InfiniBand, заодно храня и собирая экспертов, градиенты и оптимизатор в NVLink. Среда выполнения MagiMoE управляет объединенной маршрутизацией, Top-K, группированным экспертным FFN и слиянием, балансируя без вспомогательной функции потерь через смещение эксперта. Оптимизатор MagiMuon учитывает структуру "голова на эксперта", пользуясь Muon для матриц и Adam для адаптеров и гейтинга.

"Ловушка фильтрации" приводит к упрощению данных под слабую модель, ограничивая сильную модель. Значит, необходимо перейти от фильтрации к производству данных и точной мультимодальной разметке субъектов, действий, кадров, диалогов, звука и текста на экране. Сохранение сложных связей дало эмерджентные возможности, такие как постоянство персонажей между кадрами и синхронизация субтитров со звуком.

В результате большее количество параметров не всегда означает автоматическое улучшение качества.

Конвейер данных привязан к среде через автогенерацию задач и сред, генерацию траекторий, фильтрацию и дерево способностей, создавая данные для SFT и проверяемые пакеты задач для онлайн RL.

Модуль DemoCUA превращает демонстрации человека или агента в отдельные рабочие процессы, в которых агент следует шагам, где они полезны, но перепланирует их по живому скриншоту, ориентируясь на демонстрацию вместо жёсткого скрипта.

Бенчмарк OSWorkerBench, состоящий из 100 длинных офисных задач в 41 приложении, предлагает режимы только по инструкции или с использованием демонстраций, предусматривая 33 задачи на самодемонстрацию и 45 задач с вариативными демонстрациями.

Обучение содержало SFT на проверенных траекториях и онлайн RL с применением GRPO, центрирования на этапах принятия решений, нормализации на уровне токенов, опциональной модели оценки процесса и адаптивной выборки учебного плана.

В результате получены 77.0% на OSWorld-Verified, 66.2% на WindowsAgentArena и достигнут статус SOTA среди моделей с открытыми весами. У OSWorkerBench 41.0% строгой успешности, 76.9% прогресса и прирост +17.7 и +24.5 процентных пунктов к Qwen3.6-27B. На самодемонстрации из 33 задач прогресс вырос с 67.9% до 81.1%, а успешность поднялась с 17.2% до 35.4%.

Цикл самоулучшения сперва генерирует новые, более трудные, чем решённые ранее задачи, далее генерирует опорные структуры, такие как инструкции, инструменты, декомпозиция и оркестрация, потом формирует варианты решения задачи, под конец обновляя все три стадии наградой через GRPO, обеспечивая устойчивый рост способностей модели в рассуждении, программировании и агентных задачах.

Система наград основывается на формуле задачи R_task = V(q,s) x D(q,s,{τ_i}) x N(q), где V обозначает валидность или проверяемость, D измеряет сложность у границы возможностей (p* ≈ 0.2), а N отражает новизну, между тем для опорной структуры применяется R_harness = C(q,h) x F(h,{τ_i}) x H(h), рассматривающая соответствие задаче, точность оценки и устойчивость к взлому системы вознаграждения, а вариант решения выражается формулой R_rollout(τ_i) = h(q,τ_i).

В результате версия 397B набрала 86.1 на Terminal-Bench 2.1, 56 на DeepSWE и 86 на SWE-bench Verified, будучи сопоставимой с Claude Opus 4.8, превосходя GLM-5.2 и DeepSeek-V4-Flash. Версия 35B превосходит Qwen3.6-35B, Gemma-4-31B и Muse-Glimmer-30B, а версия 9B превосходит более крупные Gemma-4-31B и Qwen3.6-35B, являясь пригодной для iPhone или Android.