Захотелось выяснить простую вещь. Есть модели, которые делают ролик и сразу озвучивают героя - он открывает рот, и оттуда идёт голос. Вопрос: сколько из них справятся с русской речью, а не только с английской.

В обзорах ответа нет. Там либо перечисляют сервисы для озвучки уже готового видео, либо ссылаются на рейтинги, где ролики оценивают вообще без звука. Пришлось проверять руками.

Условия

Придумал фразу, в которой собраны самые неудобные для машины звуки:

Слушай, я уже всё решил: щенка мы забираем в четверг.

Тут «ш», «ж», «щ», «ч» и мягкие согласные. На них модели обычно и спотыкаются - либо губы разъезжаются, либо слово превращается в кашу.

Описание сцены написал по схеме, которую сама Google советует для Veo: кадр, герой, действие, обстановка, стиль, а реплика - в двойных кавычках. Kling в своей документации рекомендует тот же приём. Ничего от себя не придумывал.

Текст описания взял один и тот же для всех пяти моделей, буква в букву. Настройки тоже одинаковые: горизонтальный формат, 720p, пять секунд. Только у Gemini Omni пятёрки в списке нет, там пришлось ставить шесть.

Чтобы не спорить «мне кажется, похоже», проверял так: вытаскивал звуковую дорожку и прогонял через распознавание речи. Двумя разными моделями распознавания - если обе слышат одинаково, значит так и было сказано. Плюс мерил громкость дорожки: сразу видно, речь там или просто фон.

Результаты

Veo 3.1. Распознавание вернуло фразу без единой правки. Обе модели сошлись, язык определён как русский с уверенностью 0,99. Забавно, что при заказанных пяти секундах ролик пришёл на восемь.

Gemini Omni. То же самое - фраза целиком, ни одной ошибки. Картинка вышла ближе всего к описанию: кухня, окно, дневной свет.

Seedance 2 Pro. Говорит уверенно, голос живой. Но распознавание слышит «шинка мы заберем в четверть» вместо «щенка мы забираем в четверг». Звук «щ» упростился до «ш», а конец слова «четверг» модель не вытянула. Вторая модель распознавания услышала то же, только вместо «четверть» - «в 4». Картинка при этом отличная, проблема ровно в двух звуках.

Kling 3.0. Говорит, и распознавание уверенно определяет русский. Только от фразы остаётся одно первое слово: «Слушай, а я уже всё и дел. Шченко мой забирай муфкетка». Вторая модель распознавания услышала свой вариант той же каши, но совпало главное - «слушай» на месте, «щенка» стало «шченко», а «четверг» не опознали обе.

Полез в документацию Kling и нашёл объяснение: там прямо написано, что версия 3.0 знает пять языков - китайский, английский, японский, корейский и испанский. Русского в списке нет. Модель произносит его как чужой набор звуков - примерно как человек читает вслух незнакомый язык по буквам. Картинку по описанию при этом отрабатывает нормально.

Wan 2.7. Пять запусков, две версии модели, два варианта описания. Каждый раз ошибка генерации. Тут дело не в русском языке, а в том, что модель в этот день просто не отвечала. Пишу как есть, проверить не вышло.

Почему рассыпается именно «щ»

Никакой магии. Русского в обучающих данных обычно сильно меньше, чем английского или китайского, и первым страдает то, чего в других языках нет.

Отдельного «щ» в английском нет вообще - модель подставляет знакомое «ш». Мягкость согласных на слух едва различима, её проглатывают. А четыре согласных подряд в конце «четверга» модель просто обрывает.

Вывод бытовой: если пишете реплику для модели, в русском которой не уверены, берите слова попроще. Короткие, без «щ», без нагромождения согласных. Шанс услышать фразу целиком заметно вырастает.

Что делать, если модель по-русски не умеет

Работает связка из двух шагов, и она же спасает, когда нужен конкретный голос.

Сначала голос. ElevenLabs, режим озвучки диалога, язык русский - он там заявлен официально, в списке 76 языков. Отдал ту же фразу, получил 3,4 секунды чистой речи. Распознавание услышало её дословно, уверенность в языке - единица.

Потом губы. HeyGen 1.0, режим синхронизации. Загружаешь видео и новую дорожку, модель переставляет губы под звук. Я взял тот самый ролик Seedance, где фраза прозвучала криво, и подложил чистый голос. На выходе - картинка Seedance и нормальная русская речь.

Грабля, на которую напоролся: HeyGen откажется работать, если длительность звука и видео отличается больше чем на 15 процентов. У меня было 3,4 секунды против пяти - отказ. Добил аудио тишиной до пяти секунд, дальше прошло с первого раза.

Итог

Нужен говорящий герой по-русски и сразу со звуком - Veo 3.1 или Gemini Omni. Обе произнесли фразу дословно.

Seedance 2 Pro берите, если реплика простая. Картинка у неё сильная, а речь при желании перекладывается через ElevenLabs с HeyGen.

Kling 3.0 для русских диалогов сейчас мимо: язык похож на русский, а слова в фразу не собираются. И это не придирка - вендор сам русский не заявляет.

И общее: списки языков у всех меняются каждые пару месяцев, а такая проверка занимает минут двадцать. Прежде чем строить что-то вокруг одной модели, прогоните через неё свою фразу.

Если хотите повторить

Все пять моделей плюс ElevenLabs и HeyGen живут в одном боте Cyber AI, переключаться между ними можно в пару кликов, отдельные аккаунты не нужны.

Порядок простой: раздел «Создать видео», выбираете модель, ставите одинаковые для всех настройки, вставляете описание с репликой в кавычках. У Seedance включите тумблер генерации аудио, у Kling - Native Audio. Если речь не получилась - идёте в раздел «Музыка и Озвучка», делаете голос в ElevenLabs и синхронизируете губы в HeyGen.

Попробовать нейросети в Cyber AI: TG | MAX

📢 Больше идей и промптов каждый день: TG | MAX

Синхронизация губ (липсинк / lip sync) с видео в нейросетях

Если вы делаете AI-видео с говорящим или поющим персонажем, рано или поздно столкнётесь с одной проблемой: рот вроде бы открывается, персонаж вроде бы что-то говорит, но движения губ не совпадают со словами.

И зритель сразу чувствует фальшь.

Даже если картинка красивая, свет кинематографичный, персонаж хорошо выглядит, плохая синхронизация губ может испортить весь ролик. Особенно если герой говорит крупным планом или поёт песню. Вот здесь и появляется понятие липсинк.

Что такое липсинк

В идеале должны совпадать три вещи:

1. Звук — голос, фраза, песня

2. Движение губ — рот открывается и закрывается в нужные моменты

3. Мимика — лицо не должно быть деревянным: брови, глаза, щеки, микродвижения тоже важны

Если синхронизация хорошая, зритель почти не думает о технологии. Он просто верит персонажу. Если синхронизация плохая, зритель видит “нейросетевой рот”: губы живут отдельно, звук отдельно.

Почему липсинк в AI-видео часто ломается

Главная причина простая: нейросеть не всегда понимает, что для нас важно не просто "открывание рта", а точное совпадение с речью. Особенно тяжело нейросетям даются:

• длинные фразы

• быстрый рэп или скороговорки

• пение с протяжными гласными

• русский язык, если модель хуже обучена на русской речи

• кадры, где лицо повернуто боком

• несколько говорящих людей в одном кадре

• персонажи с закрытым ртом, бородой, маской, микрофоном у лица

• мультяшные персонажи с необычной формой рта

⚠️ Поэтому новичку важно понять: хороший липсинк — это не магия одной кнопки. Это правильный выбор инструмента, правильный исходник и правильная постановка задачи.

Как сделать липсинк в ИИ-видеопродакшене: ва основных подхода

1️⃣Первый подход: всё делается через ПРОМПТ

Это вариант для видеомоделей вроде Google Veo, Grok Imagine и других моделей, которые умеют генерировать видео со звуком или речью. Вы пишете в промпте, что персонаж должен сказать или спеть конкретную фразу. Например:

A close-up shot of a young woman looking into the camera. She speaks in Russian with natural lip sync and says exactly: "Я больше не верю твоим словам." Her facial expression is calm but sad. The mouth movements must match the Russian phrase accurately

Для новичка это самый простой способ. Не нужно отдельно готовить аудио, не нужно монтировать, не нужно синхронизировать дорожки вручную.

Но есть минус: вы отдаёте слишком много контроля самой нейросети. Она может:

• изменить фразу

• произнести её с неправильной интонацией

• сделать странный голос

• плохо попасть губами в русский текст

• сократить фразу

• добавить лишние слова

• красиво сгенерировать видео, но не попасть в точный липсинк

Такой подход хорош для коротких реплик. Например, 1–2 предложения на 5–10 секунд. Но если вам нужна точная песня, точная озвучка или фраза должна совпадать слово в слово, этого способа может быть недостаточно

2️⃣Второй подход: отдельно готовим аудио и подгружаем его в сервис

Это подход сервисов вроде HeyGen и похожих инструментов для говорящих аватаров.

Схема такая:

1. Вы создаёте или загружаете изображение персонажа

2. Отдельно готовите аудиофайл (к примеру, в ИИ-сервисах 11Labs, Minimax и т.п.): голос, фразу или песню

3. Загружаете изображение и аудио в сервис

4. Сервис "оживляет" лицо и подгоняет рот под готовую аудиодорожку

Для липсинка этот подход часто надёжнее, потому что у нейросети уже есть точный звук. Ей не нужно придумывать, что говорить. Ей нужно только подстроить движения губ под готовую речь.

Это особенно полезно, если:

• у вас уже есть озвучка

• нужно сохранить конкретный голос

• персонаж должен спеть конкретный кусок песни

• важно точное совпадение с русским текстом

• ролик строится вокруг говорящей головы

Например, для HeyGen рабочая логика может быть такой:

Загружаем портрет персонажа → загружаем аудио с русской фразой или песней → выбираем режим talking avatar / photo avatar → генерируем видео с липсинком

Для новичков это один из самых понятных вариантов: если вам нужен именно говорящий персонаж крупным планом, сервисы аватаров часто дают более предсказуемый результат, чем обычные text-to-video модели.

Что обычно работает лучше для липсинка

Лучше всего работает ситуация, где нейросети легко "прочитать" лицо персонажа. Идеальный исходник для липсинка:

• персонаж смотрит почти прямо в камеру

• лицо хорошо освещено

• рот виден полностью

• нет микрофона, руки, шарфа, маски или еды у рта

• нет сильного поворота головы

• кадр не слишком дальний

• фраза короткая

• голос записан чисто, без шума и громкой музыки

Если делаете мультяшного персонажа, желательно, чтобы у него была понятная человеческая мимика. Слишком условный рот, слишком маленькие губы или экстремально стилизованное лицо могут ухудшить результат.

Когда липсинк сделать сложнее (почти что невозможно)

Плохой результат чаще всего получается, когда мы хотим от нейросети сразу всё:

• персонаж танцует

• камера летает вокруг него

• он поёт

• в кадре много людей

• свет мигает

• рот частично закрыт

• песня быстрая

• текст длинный

• ещё и нужно, чтобы всё было на русском языке слово в слово

Нейросеть в такой ситуации может выбрать, что важнее: красивая картинка, движение камеры, эмоция, музыка или губы. И губы часто проигрывают.

Поэтому важное правило:

Если липсинк важен — упростите кадр!

Крупный или средний план, спокойная камера, лицо видно, одна реплика, один говорящий персонаж.

Google Veo / Veo Omni Flash / Omni Flash: когда использовать

Модели Google семейства Veo и Omni хорошо подходят для коротких кинематографичных сцен, где персонаж произносит небольшую фразу. Например:

A cinematic close-up of a man standing near a rainy window. He quietly says in Russian, exactly: "Я всё ещё помню тот вечер." Natural Russian lip sync, subtle facial emotion, realistic mouth movement, no extra words

Что здесь важно:

• написать, что персонаж говорит на русском языке

• указать фразу в кавычках

• попросить сказать exactly эту фразу

• отдельно подчеркнуть natural lip sync

• не перегружать сцену лишними действиями

Такие модели хороши, когда вам нужно получить красивый видеокадр “всё в одном”: картинка, движение, эмоция, звук. Но если задача — стопроцентно точное совпадение с заранее записанной песней, лучше использовать подход с отдельным аудио или специализированный липсинк-сервис.

HeyGen: когда использовать

HeyGen и похожие сервисы удобны, когда вам нужен персонаж, который говорит или поёт под готовую аудиодорожку.

Например, вы сделали ключевой кадр персонажа в нейросети. Затем записали голос или подготовили кусок песни. После этого загружаете изображение и аудио в HeyGen, а сервис синхронизирует лицо с голосом. Этот способ особенно хорош для:

• говорящих аватаров

• обучающих роликов

• коротких обращений от персонажа

• ведущих

• дикторов

• песен, где важно сохранить конкретную аудиодорожку

Но есть нюанс: HeyGen-подход лучше всего работает с портретными кадрами. Если вам нужна сложная сцена, где персонаж бегает, поворачивается, взаимодействует с предметами и ещё поёт, одного аватарного липсинка может быть мало.

Grok Imagine: когда использовать

Grok Imagine интересен тем, что может генерировать видео с аудио и диалогом. Это удобно для быстрых экспериментов, коротких реплик и сцен, где хочется получить сразу атмосферу, звук и движение. Подход похож на Veo:

A funny animated character looks at the camera and says in Russian: "Ну всё, теперь я официально нейросеть." Clear Russian speech, accurate lip sync, expressive face, no extra dialogue

Для коротких фраз это может сработать хорошо. Но для точного музыкального номера всё равно лучше мыслить не одной генерацией, а пайплайном: сначала аудио, потом липсинк, потом монтаж.

Runway Act-Two и похожие инструменты: когда нужен не только рот, но и актёрская игра

Есть ещё один подход: использовать “управляющее видео”. То есть вы записываете человека, который произносит фразу, двигается, играет эмоцию, а потом нейросеть переносит эту мимику и движения на другого персонажа. Это полезно, если вам важны не только губы, но и:

• взгляд

• поворот головы

• эмоция

• жесты

• паузы

• актёрская подача

По сути, вы даёте нейросети не только звук, но и пример исполнения. Для сложных сцен это часто лучше, чем просто написать "персонаж говорит грустно".

Что выбрать новичку

Если очень упростить, выбор такой.

Нужна короткая реплика в красивом AI-видео?
Пробуйте Veo, Grok или похожие модели через промпт.

Нужна точная озвучка или песня?
Готовьте аудио отдельно и используйте HeyGen или другой сервис с загрузкой аудио.

Нужна актёрская игра, эмоции и жесты?
Смотрите в сторону инструментов с performance capture: когда есть управляющее видео с человеком-актёром.

Нужен музыкальный клип?
Лучше не пытаться сгенерировать весь куплет одним куском. Разбейте песню на короткие фрагменты по 5–10 секунд. Для каждого фрагмента делайте отдельный кадр или сцену. Так проще контролировать губы, эмоцию и монтаж.

Практические советы для хорошего липсинка

👉Делайте короткие фразы

Лучше одна фраза на 5–8 секунд, чем длинный монолог на 30 секунд.

Плохо:

Персонаж произносит большой абзац текста...

Лучше:

Персонаж говорит: "Я больше не хочу жить в полутонах."

👉Пишите точный текст в кавычках

Не пишите просто:

персонаж говорит о любви

Пишите конкретно:

The character says in Russian exactly: "Я не забыл тебя."

👉Указывайте язык

Для русского текста обязательно пишите:

in Russian natural Russian lip sync Russian speech no translation

Иначе модель может попытаться произнести фразу с английской артикуляцией или вообще изменить язык

👉Не перегружайте кадр

Если герой говорит, пусть он говорит. Не нужно одновременно заставлять его бегать, прыгать, драться, танцевать и петь сложную партию

👉Используйте крупный или средний план

Для липсинка лучше, когда лицо видно. Если персонаж маленький в кадре, нейросеть может не уделить рту достаточно внимания

👉Для песен используйте аудио

Если у вас есть песня, лучше подготовить короткий аудиофрагмент и работать от него. Пение сложнее обычной речи: там есть протяжные гласные, дыхание, ритм, эмоция. Текстовый промпт не всегда передаст это точно

👉Делайте несколько дублей

Один промпт — не гарантия. Иногда нормальный липсинк появляется на третьей, пятой или десятой попытке. Это нормально

Главный вывод

Липсинк — это не просто "чтобы рот открывался". Это совпадение речи, губ, эмоции и ритма.

Для новичка самое важное — не усложнять. Начинайте с простого: один персонаж, короткая фраза, лицо видно, спокойная камера. Если нужно точное совпадение с голосом или песней — используйте готовое аудио и сервисы, которые умеют синхронизировать рот под аудиодорожку.

А если вы делаете AI-клип, особенно музыкальный, лучше мыслить монтажно: не один длинный ролик, а серия коротких фрагментов. В каждом фрагменте — своя эмоция, своя фраза, свой понятный кадр.

Так вы получите гораздо более чистый результат, чем если попросите нейросеть сразу: “Сделай мне весь клип, чтобы всё пелось идеально”.

Нейросети уже умеют многое. Но хороший липсинк всё ещё требует режиссёрского подхода.

T-Pain - Church

Meghan Trainor - Me Too

The Prophet - Wanna Play

Noel's lament — Ride the cyclone

Shaggy - Angel ft. Rayvon

Insane Clown Posse - Hokus Pokus