Nvidia научила нейросеть анимировать 3D-модель лица на основе голоса

Nvidia научила нейросеть анимировать 3D-модель лица на основе голоса

10 ноября, 20211 минута на чтение
Подписывайтесь на [Код // Дурова] в Telegram. У нас уже 190 000 подписчиков[Код // Дурова] в Telegram

Компания Nvidia научила нейросеть анимировать 3D-модель лица, используя для этого только голос. Технологию назвали Audio2Face, она реализует процесс автоматического монтажа.

Инструмент работает на открытой платформе физически корректного моделирования в реальном времени NVIDIA Omniverse. Программа берёт аудиофайл и создаёт на модели удивительно хорошо совпадающую анимацию, хорошо справляясь с большинством языков.

Демонстрационная версия использует модель персонажа Digital Mark, но для работы можно взять лицо с любыми чертами. Также анимацию, предназначенную для одного персонажа, можно перенести на другого — например, с человека на носорога.

Компания начала выкладывать демонстрационные видео и обучающие ролики весной 2021 года, а теперь на сайте компании можно скачать открытую бета-версию программы. Технология может создавать анимацию как на основе готового файла, так и в реальном времени. Для этого нужно загрузить в приложение уже имеющуюся звуковую дорожку или говорить в микрофон.

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →
10 ноября, 2021
Подписывайтесь на [Код // Дурова] в Telegram. У нас уже 190 000 подписчиков[Код // Дурова] в Telegram
Комментарии
Показать все