Кинопоиск научился распознавать музыку в фильмах и сериалах

На «Кинопоиске» теперь можно узнать, какая музыка звучит в фильме или сериале в момент его просмотра – и при желании послушать её на «Яндекс.Музыке».

В сценах, где играют доступные на «Яндекс.Музыке» треки, в интерфейсе плеера Кинопоиска отображается название песни и исполнителя. Кликнув на него, подписчики Плюса могут прервать просмотр и сразу запустить заинтересовавший трек на «Яндекс.Музыке». А можно отправить его в специальный плейлист «Понравилось на Кинопоиске» и послушать потом. Это можно сделать даже на телевизоре – накануне в приложении Кинопоиска для Smart TV появился раздел с «Яндекс.Музыкой».

Технология способна распознать как инструментальные саундтреки, так и песни разных исполнителей, которые могут играть в фильме или сериале фоном.

Музыка в кино – это не только официальный, написанный композитором саундтрек. Она присутствует в миллионе разных сцен – играет фоном в кафе, где герой забирает себе утренний кофе, звучит по радио в машине, доносится из магазина на улице. У распознавания такой музыки есть особенности: часто речь может звучать громче музыки, а некоторые композиции в фильмах могут быть немного замедленными или, наоборот, ускоренными. Это не всегда заметно для человеческого уха, но сильно сбивает стандартные алгоритмы распознавания. Поэтому специально для этой задачи мы улучшили технологию, которая уже работала в Яндекс.Музыке. Теперь это поможет пользователям не только находить заинтересовавшие их песни, но и лучше подбирать фильмы – мы планируем учитывать знания о звучащей в фильмах музыке в рекомендациях Кинопоиска – рассказывает Анатолий Старостин, руководитель службы развития технологий в медиасервисах Яндекса.

Благодаря новой функциональности пользователи без труда могут узнать, какой именно трек Ханса Циммера звучит в титрах «Дюны» или оценить широту музыкального вкуса режиссера Джеймса Ганна, который собрал впечатляющую коллекцию классики рок-н-ролла для фильма «Отряд Самоубийц: Миссия Навылет».

Распознавание работает в приложениях «Кинопоиска» для Smart TV, Apple TV, Android TV, в мобильных приложениях на iOS и Android и в веб-версии. Это не первое нововведение, призванное дополнить пользовательский опыт подписчиков Плюса с помощью интеграции разных сервисов и технологий Яндекса между собой. В 2019 году на «Кинопоиске» заработала технология DeepDive, которая благодаря компьютерному зрению распознает актеров в кадре, а в прошлом году «Яндекс.Музыка» представила Киноплейлист – умный плейлист музыки из саундтреков фильмов и сериалов, с которыми взаимодействовал пользователь – например, посмотрел их, купил билеты в кино или поставил оценку.