В рамках международной конференции AI Journey 2021 «Сбер» представил музыкальный альбом Thriving Machine, который создан с помощью нейронной сети, способной сочинять уникальные музыкальные композиции. Об этом «Коду Дурова» рассказали в пресс-службе корпорации.
Альбом состоит из треков в разных жанрах — эмбиент, поп, электро, рок, лаунж и классика. Прослушать его целиком можно в фирменном сервисе «СберЗвук» по ссылке.
Любопытно, что обложкой Thriving Machine стал коллаж из рисунков, сгенерированных нейросетью ruDALL-E по запросам «процветающая вселенная» и «струнный оркестр галактики». Название трекам дала ещё одна нейросеть — ruGPT-3.
Для создания модели для генерации музыкальных произведений, основанной на принципе рассмотрения музыки в качестве нотного текста, команда SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру SymFormer и обучила нейросеть на суперкомпьютере Кристофари при помощи платформы ML Space. Датасет состоял из 160 тысяч композиций в разных стилях — от классики до современной электронной музыки и рока.
Эволюция подобных нейросетей также позволяет нам продвинуться на пути развития виртуальных ассистентов нового поколения, которые смогут не только отвечать на вопросы, заказывать еду или управлять умным домом, но и выполнять роль личного композитора, писателя или художника, — отметил СТО «Сбербанк Групп» Давид Рафаловский.
В «Сбере» пояснили, что создание музыкальных композиций при помощи SymFormer происходит в два этапа. Вначале нейросеть получает информацию о стиле и генерирует несколько вариантов структуры будущей композиции. На втором этапе создаётся несколько вариантов мультиинструментальной композиции, соответствующих заданному стилю. Затем модель-ранжировщик выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.
