Lip-синхронизация в реальном времени

LIVE Face

Если у вашей веб-камеры есть микрофон, вы можете синхронно захватывать выражения лица вместе с записью голоса через Face3D с помощью плагина Motion LIVE 2D. В качестве альтернативы, установите микрофон на свой компьютер. Если iPhone является устройством захвата, тогда происходит только захват данных изображения лица.

Можно записать не только голос актера, но и выражения лица с помощью функции синхронизации губ ( lip-sync), которые можно автоматически и одновременно захватывать и генерировать в движения лица персонажа.

Возможности

Запись живого аудио с захватом лица за один сеанс.
Записанный звук создает данные синхронизации губ в режиме реального времени.
Смешивание синхронизации губ и захват движений, для создания реального отображения анимации..

Синхронная запись звука и синхронизация губ

Персонаж
Выберите персонаж.

Перейдите в раздел Plugins >> Motion LIVE 2D >> Motion LIVE 2D.

Motion LIVE 2D

Подключитесь к устройству захвата лица на панели Motion LIVE 2D.

Флажок Record Audio ( Запись звука ) активирован по умолчанию при обнаружении аудиовхода. Вы можете выбрать подходящий микрофон для захвата звука из выпадающего списка.

Record Audio

Активируйте флажок Lip Sync для распознавания движения ваших губ, в режиме реального времени.

Примечание
В раскрывающемся списке Lip Sync вы можете выбрать режим Real-time (реальное время) или Post-process (пост-процесс ).

Независимо от того, что вы выбрали, в режиме реального времени или после обработки , изменение скорости губ будет одинаковой в режиме предварительного просмотра в реальном времени. Единственное отличие состоит в том , что lip visemes отслеживается в Timeline по разному.

Real-time

Lipsync

Новое упрощенное решение для синхронизации губ для создания форм губ, пользователи могут контролировать чувствительность и изменения формы губ в реальном времени для прямой трансляции.
Большое количество ключей висемы, сгенерированных в треке Lips .

Post-process

 Post-process

Традиционный метод синхронизации губ по звуку для создания более точных форм губ, пользователи могут выполнять дальнейшее редактирование для постпроизводства.
Меньше количество ключей, но более точное расположение ключей висем, сгенерированных в треке Lips .

Говорите, пока вы производите запись изменяется выражения лица .

Воспроизведите проект, для того чтобы посмотреть результат выражения лица и синхронизацию губ

Чувствительность губ в реальном времени

Вы можете настроить скорость изменения формы губ, перетаскивая ползунок Sensitivity ( Чувствительность ) при выборе Real-time ( Реальное время ) в раскрывающемся списке Lip Sync ( Синхронизация губ ).

По умолчанию слайдер отключен, но если вы выберите, то все равно увидите один и тот же результат в режиме просмотра реального времени.

Sensitivity

Чем выше значение чувствительности , тем быстрее меняется форма губ, а на дорожке губ будет создаваться больше ключей висем.

Чувствительность 2

Чувствительность = 2
Форма губ меняются медленнее, а на дорожке губ добавляется меньше висем ключей .

Уровень 2

Чувствительность 4

Чувствительность = 4
Форма губ меняется быстрее, а на дорожке губ появляется больше висем-ключей .

Уровень 4

Два варианта захвата Lip-синхронизации

Существует два варианта захвата синхронизации губ в режиме реального времени: визуально (Lip-sync OFF) и From Audio (Lip-sync ON).

Визуально (Lip-Sync OFF)

Record Audio

Настройки по умолчанию для записи звука и захвата рта с помощью веб-камеры Face3D Tracker на основе визуальных эффектов.

Поскольку Face3D Tracker создает визуальные эффекты рта, вместо создания висем из звуков, захваченные движения лица будут записываться только в дорожку клипа для лица.

Lip-Sync OFF

Из аудио (Lip-Sync ON)

Lip-Sync ON

Для использования аудиовхода включите функцию Lip Sync, который четко и точно говорит в микрофон, чтобы позволить Motion LIVE 2D обнаруживать звук и генерировать синхронизацию губ viseme на основе звука.

Lip-Sync ON

В этом варианте запись движения губ записывается не только на дорожку Voice, но и создает viseme на дорожке Lips где можно осуществить редактирование и исправить неправильную артикуляцию губ персонажа.

Примечание
В текущей версии Motion LIVE 2D , если вы не издаете звук при включенной функции Lip Sync , может вообще не быть анимации рта.

Уточнение и редактирование

В Cartoon Animator откройте панель Timeline и нажмите кнопку Face и вы увидите записанные данные в соответствующих дорожках. Вы можете найти данные сохраненные на дорожке Facial Clip (A), а также на дорожке Voice (B) и Lips (C) записанный звук и viseme отвечающую за артикуляцию губ персонажа.

настройка

Установите курсор на любой нужный кадр и услышите звук. Если клавиши синхронизации губ плохо не соответствует и вы хотите изменить ключи висемы, выполните следующие действия:

Дважды щелкните по ключу висемы на дорожке Lips.

настройка губ

В открытом окне Lips Editor замените висем для синхронизации губ на другой.

 Lips Editor

Если функция рта персонажа G3 360 или G3 преобразована в Smooth Mode, вы можете перетащить ползунок Expressiveness (Выразительность) выбранного висема и увеличить или уменьшить силу открывания рта.

 висема: WOOвисема: Oh
Оригинальная висема: WOOМодифицированная висема: Oh

Повторное использование захваченных Lip-синхронизаций для разных персонажей.

После завершения записи Lip-Sync вы можете сохранять и экспортировать голосовой клип в Cartoon Animator , а затем применять его к другим персонажам.

Откройте панель Timeline (F3) и нажмите кнопку Face и найти записанные аудиоданные, хранящиеся в основной дорожке Voice Clip .

Сохранение

Убедитесь, что был выбран нужный персонаж или голосовой клип. Перейдите в Content Manager >> Animation >> Папка Face и нажмите кнопку Add и сохраните клип в формате * .ctFCS на вкладке Custom.

Папка сохранения

Теперь если вы хотите, чтобы выбранный любой персонаж повторил действия которые вы предварительно сохранили, перетащите сохраненный файл на персонаж.

Результат

Поделиться ссылкой:

Views All Time
Views All Time
283
Views Today
Views Today
8
0 0 vote
Article Rating

Материалы по теме:

Lip-синхронизация в реальном времени
Что такое Motion Retargeting
СодержаниеhideMotion RetargetingКонцепции движения костейСовместимые движения с Motion RetargetingИнтерфейс Motion RetargetingMotion Bone – Движение кости. Select Part Выравнивание кости по позе движения .gutentoc-toc-wrap ul ...
Lip-синхронизация в реальном времени
Начальная настройка плагина Motion LIVE 2D – Zero Pose
Zero Pose В идеале, точный mocap будет создан если камера стоит по центру монитора, но такое не всегда возможно. Для получения ...
Lip-синхронизация в реальном времени
Content Manager в Cartoon Animator 4
СодержаниеhideВведениеContent ManagerРасширения файловЗаключение .gutentoc-toc-wrap ul li a, .gutentoc-toc-title-wrap .text_open{ color: undefined}} Введение Хочу сказать тема несколько нудная. Начну с того, что большая часть пользователей пользуется ...
Lip-синхронизация в реальном времени
Видеоуроки от UQ Omgpool
Видеоуроки На просторах нашел видеоуроки по созданию сцены в программе Cartoon Animator, от пользователя UQ Omgpool. UQ Omgpool не по жадничал и в ...
Lip-синхронизация в реальном времени
Cartoon Animator 4, концепция вращение головы.
Фирма Reallusion сделала вторую попытку создания актера с вращающейся головой в программе Cartoon Animator 4,ранее CrazyTalk Animator. Первая попытка создания была в версии ...
Подписаться
Уведомление о
guest
1 Комментарий
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
Shawshaw
Shawshaw
26 дней назад

У меня уже есть установщик Motion Live 2D. И это может быть установлено на Cartoon animator 4

У меня просто нет установщика профиля Face3D.

Вы можете помочь мне получить это?

Email: shawkyadel97@gmail.com

Do NOT follow this link or you will be banned from the site!
1
0
Would love your thoughts, please comment.x
()
x