Nvidia запустила сервис Maxine, улучшающий качество видеозвонков на основе нейросетей

Компания NVIDIA представила алгоритм, позволяющий многократно снизить загрузку сети при видеозвонках или улучшить качество видео при такой же загрузке. Вместо того, чтобы посылать все кадры, алгоритм посылает один кадр с человеком, а затем лишь карту ключевых точек его лица, а компьютер на другой стороне анимирует кадр по этим картам с помощью нейросети.

Другая важная особенность платформы Nvidia — послабление требования к качеству соединения. Передавая только ключевые точки лица, технология снижает требование к пропускной способности до одной десятой в сравнении с видео, сжатого кодеком H.264. Такой метод позволяет значительно сократить расход трафика и требования к пропускной способности интернет-соединения, что особенно важно для мобильных устройств.

В показанных примерах ИИ использует статичное изображение и данные о положении ключевых точек артикуляции лица с веб-камеры говорящего, чтобы анимировать «аватара». Кроме того, разработчики могут дополнять приложения для видеозвонков вспомогательными функциями: модулем переводчика, субтитрами, виртуальными помощниками и анимированными аватарами.

По данным Nvidia, в настоящее время ежедневно проводится около 30 миллионов видеоконференций. Nvidia хочет оптимизировать качество видео и пропускную способностью с помощью Maxine.

«Видеосвязь стала частью повседневной жизни, помогая миллионам людей работать, учиться и играть, и даже обращаться к врачу. NVIDIA Maxine объединяет наши самые передовые возможности видео, аудио и искусственного интеллекта, чтобы обеспечить революционную эффективность и новые возможности платформ, которые позволяют нам всем оставаться на связи», — заявил вице-президент NVIDIA Ян Бак.