31.01.2023 04:44 Наталья Богинская

Google научил ИИ создавать музыку по текстовому описанию – видео

За разработкой стоит компания Google, создавшая нейросетевой сервис MusicLM. Задача сервиса состоит в создании музыкальных произведений. Примеры работ можно прослушать на демо-сайте.

MusicLM создает музыку по текстовым запросам. Пользователь может задать жанр, настроение, темп и другие желаемые нюансы.
“Мы представляем MusicLM – модель, генерирующую высококачественную музыку по текстовым описаниям, вроде "успокаивающая скрипичная мелодия, подкрепленная искаженным гитарным рифом", – рассказывают разработчики на сайте.

MusicLM рассматривает процесс условной генерации музыки как иерархическую задачу моделирования последовательности и генерирует музыку с частотой 24 килогерца, которая остается неизменной в течение нескольких минут. Разработчики уверены, что MusicLM превосходит предыдущие системы как по качеству звука, так и по соблюдению текстового описания.

Нейросеть также может объединять несколько разных произведений в одно общее. Для этого в инструкции нужно указать описания для каждого из них. Кроме того, можно выбрать уровень владения инструментами – например, для того, чтобы композицию якобы сыграл начинающий музыкант или, наоборот, виртуоз. 
Инструкции также могут быть представлены и в форме звуков. Например, пользователь напевает или насвистывает мелодию, а нейросеть адаптирует ее до полноценного трека с учетом стиля.