Google показал сэмплы от MusicLM — генератора музыки из текста

Генератор «пишет» музыкальные произведения продолжительностью в несколько минут по текстовым подсказкам или преобразуя мелодию, которую насвистывают или напевают в микрофон, в полноценные инструментальные композиции, сообщает The Verge.

Среди обнародованных примеров — 30-секундные «песни» (текста в них нет, только имитация). Причем программа придерживается заданного жанра и использует указанные инструменты.

Если задавать формат в режиме story, указывая последовательность тех или иных музыкальных фрагментов, то ИИ генерирует максимально близкий к техзаданию музыкальный микс.

На демонстрационном сайте также представлены варианты 10-секундных имитаций конкретных инструментов, 30-секундных музыкальных произведений, созданных по описаниям знаменитых картин, и 8-секундных зарисовок определенного жанра (есть даже музыка, подходящая для побега из тюрьмы, или «аккордеонный death-metall»).

Из примеров видно, что MusicLM может имитировать человеческий вокал, который правильно передает тон и общее звучание голосов, хотя по сути это даже не набор слов, а скорее, набор букв.

Ранее различные технологические компании уже делали попытки создать подобные генераторы: есть программы, которым приписывают сочинение поп-песен, копирование Баха лучше, чем это мог сделать человек в 90-е годы, и сопровождение живых выступлений. 

Одна из последних версий использует механизм генерации изображений AI StableDiffusion для преобразования текстовых подсказок в спектрограммы, которые затем превращаются в музыку. 

В Google уверяют, что это все «прошлый век», и MusicLM может превзойти все прочие программы с точки зрения «качества и соответствия заявке», а также благодаря умению воспринимать аудио и копировать мелодию.

Впрочем, в компании пока осторожно относятся к разработке: в открытый доступ она не поступит из-за «риска потенциального незаконного присвоения творческого контента».

Таким образом, на данный момент единственные люди, которые смогут использовать результаты исследований и работы MusicLM, — это другие разработчики ИИ-генераторов музыки: в Google готовы делиться данными для обучения коллег и для аналитики.

Фото на обложке: Unsplash