Нейросеть Google генерирует музыку по текстовому описанию

Разработчики из компании Google рассказали о нейросети под названием MusicLM — она умеет генерировать музыку по описанию.

Для получения навыка создания композиций при помощи сложных описаний нейросеть была обучена на 280 000 часах музыки. По уверениям исследователей компании, MusicLM умеет генерировать мелодии на частоте 24 кГц — она остаётся неизменной.

Предложенный текст — Смесь реггетона и электронной танцевальной музыки с космическим, потусторонним звуком. Вызывает ощущение потери в космосе:

Последовательность текстовых подсказок — время медитировать (0:00-0:15), время просыпаться (0:15-0:30), пора бежать (0:30-0:45), время выкладываться на 100% (0:45-0:60):

Что интересно, музыка также создавалась по описанию картин Сальвадора Дали, Эдварда Мунка, Пабло Пикассо и других известных художников. Результат хороший, но выяснилось, что 1% сгенерированной музыки напрямую повторяет мелодии из набора для обучения.

Картина французского художника Анри Матисса:

Поэтому разработчики не планируют выкладывать исходный код MusicLM или делать нейросеть доступной для общего пользования. Для исследований лишь опубликованы 5500 треков и текстов, с которыми были сгенерированы эти композиции.