Rusbase

Искусственная музыка: зачем нам
The Beatles, если есть ИИ

6 августа 2019



Слушать эту статью:
Аудио обработано сервисом БелаяТрость.рф.
Искусственный интеллект с каждым годом занимает все более уверенные позиции в самой человеческой из жизненных сфер – в искусстве. Мир музыки не исключение. Нейросети пишут мелодии и ежедневно учатся делать это всё лучше. Примеров AI-творчества сотни. Так, еще в 2017 году вышел альбом Hello World, полностью созданный искусственным интеллектом в коллаборации с живыми музыкантами. Певица Тарин Саутерн вместе с AI-алгоритмом Amper записала песню Break Free, а нейросеть от проекта Flow Machines в соавторстве с композитором Бенуа Карре сочинила Daddy's Car, стилистически идентичную музыке The Beatles.

Да чего уж, искусственный интеллект покусился даже на святое – классику. Например, нейросеть AIVA за 72 часа завершила пьесу чешского композитора Антонина Дворжака «Из мира будущего», которая оставалась неоконченной 115 лет, Flow Machines имитируют Баха, а нейросеть «Яндекса»‎ вместе с композитором Кузьмой Бодровым сочинили пьесу, которую исполнил симфонический оркестр «Новая Россия» под управлением Юрия Башмета.

Однако пока искусственный интеллект творит не без помощи человека. Когда же нейросети начнут сочинять полноценную музыку самостоятельно? Rusbase пообщался с экспертами рынка и узнал, как творят нейросети, какую музыку точно заменит AI-музицирование и придется ли композиторам искать новую работу.
Как нейросеть пишет музыку?
В целом по тому же принципу, по которому искусственный интеллект творит любые другие виды искусств. Сначала нейросеть учится: для этого ей скармливают данные, то есть музыкальные произведения – и чем больше, тем лучше. Затем на основе изученного AI-разум пытается восстановить некую гармонию, схожую с той, что была услышана во время обучения. Пока в большинстве случаев получается совсем не номинант на Грэмми, но достойные звукосочетания найти можно. Именно о них как правило и рассказывают в новостях.
Александр Крайнов
руководитель Лаборатории машинного интеллекта компании «Яндекс»‎
Генерация произведения в формате midi
Описание и даже исходный код легко можно найти в интернете, воспользуясь которым любой толковый разработчик сможет написать нужную ему программу. Здесь нейросеть генерирует произведения в формате midi, разбитые на равные временные отрезки, в каждом из которых выделена основная нота. Похоже на то, как когда человек играет мелодию на фортепиано, тыкая пальцем в клавишу.

Для генерации таких midi алгоритм сначала пишет множество музыкальных произведений в сжатом цифровом виде, запоминает общие закономерности и в компактной форме записывает характерное для композиции уникальное свойство. Далее, применяя к полученным компактным представлениям знания о гармониях, нейросеть пытается восстановить произведение. С точки зрения человека, из 9/10 мелодий получается полная ерунда, которая звучит как какофония, а в 1/10 случаев – вполне приемлемая мелодия, с которой можно иметь дело. Но полноценной композицией она станет, только когда человек напишет к ней аранжировку.
Готовое музыкальное произведение
Более интересный подход с точки зрения разработки, над которым сейчас бьются все – как сделать так, чтобы на выходе было не midi, а готовое музыкальное произведение. Сложность в том, что на отрезке в несколько секунд получается сгенерировать что-то звучащее как настоящая музыка, но добиться так называемой консистентности, когда на протяжении всего произведения чувствуется связующая идея, пока не получается.

Идеальный результат – произведение, которое нельзя отличить от написанного человеком. Задача открытая, но в целом понятно, как ее решать, и, думаю, в течение года мы увидим какой-то результат.
И что, можно взять и записать
песню в любом стиле?

Да. Каждый музыкальный жанр имеет характерный набор инструментов, приемов аранжировки, особенностей мелодики, ритма, наиболее используемые лады, гармонические последовательности, – объясняет Станислав Бутовский, композитор, автор песен, саунд-продюсер. Говоря математическим языком, определенный набор параметров, задавая которые можно получить произведение в желаемом жанре. «Музыку и математику объединяет гораздо больше, чем может показаться на первый взгляд. Все, что касается формы и жанрово-стилистических признаков желаемого произведения, можно четко описать и представить в виде алгоритма».
Если машина обработает данные о, скажем, музыке Стивена Райха, Терри Райли, Владимира Мартынова и Филипа Гласса, то в результате мы получим произведение, состоящее из многократно повторяющихся паттернов, с небольшим количеством вариаций и инструментов, то есть музыку, известную как «минимализм». А если загрузить в машину весь каталог группы Любэ, то получим на выходе характерно звучащие песни с вполне определенным набором тем и инструментарием. Машине абсолютно все равно, какие данные обрабатывать и использовать, у нее нет вкусовых предпочтений.

Станислав Бутовский
композитор, автор песен, саунд-продюсер
Какое количество музыки может
придумать нейросеть?

Мелодий может быть бесконечное количество, – говорит Александр Крайнов, руководитель Лаборатории машинного интеллекта компании Яндекс. «Тут вообще никаких ограничений нет. Главное создать алгоритм, а он без проблем нагенерирует столько, что слушать замучаешься. Тут основной задачей станет выбрать лучшее».
Человек без музыкального образования тоже сможет писать музыку с помощью ИИ?
Есть разные точки зрения. Как правило, ответ зависит от того, кому мы его задаем: программисту или музыканту. Первые склоняются к тому, что для написания AI-музыки знание нот и способность играть на инструментах не особо нужны. Главное – умение работать с данными. Вторые же, напротив, считают, что выжать максимум из самых навороченных технологий сможет только человек с музыкальным образованием.
Александр Крайнов
руководитель Лаборатории машинного интеллекта компании «Яндекс»‎
Тут мы, в первую очередь, пляшем от умения обрабатывать данные. Знание предметной области вторично. Конечно, чтобы лучше понимать предметную область, мы общаемся с музыкантами и прислушиваемся к их мнению. Но быть музыкантом самому или обладать музыкальным слухом совершенно не обязательно. Например, в «Яндексе»‎ есть прогноз погоды. Люди, которые его создают, в большинстве своем не метеорологи. Быть метеорологом пригодится, но по сути можно получить результат, работая только с данными. Другой вопрос, что долго работая над какой-то задачей, тем же прогнозом погоды, люди начинают глубже разбираться в предмете. С музыкой то же самое.
Иван Ямщиков
AI-евангелист ABBYY
Писать музыку с помощью искусственного интеллекта или без него и так уже может любой. И для этого, конечно, не обязательно учиться годами в музыкальных школах. Sex Pistols или Dr. Dre вполне справились с музыкальной карьерой и без образования, так что тут появление ИИ ничего принципиально не меняет, просто даёт новых «красок» в музыкальную палитру. Желание и возможность творить не связаны с походами в музыкальные школы.
Станислав Бутовский
композитор, автор песен, саунд-продюсер
Начиная со второй половины XX века технологии активно пытаются сделать доступными массовому пользователю широкий выбор средств создания музыки. У любого подростка в ноутбуке может быть спрятан инструментарий симфонического оркестра, самые жирные хип-хоп биты и терабайтные библиотеки сэмплов для создания музыки в любых жанрах.

Все современные DAW (цифровая звуковая рабочая станция для создания и записи музыки) созданы так, что музыку можно собирать из составляющих как из кубиков: ты можешь не знать нот, не разбираться в теории, не уметь играть ни на одном музыкальном инструменте, но создашь из имеющихся компонентов простейшую композицию. Правда, скорее всего, звучать она будет посредственно, потому что не имеющий музыкального образования пользователь не сможет максимально использовать огромные возможности, которые сосредоточены в его компьютере.

Если на помощь приходит ИИ, то основная задача пользователя – грамотно сформулировать свои пожелания. Думаю, если вы скажете: хочу, чтоб было мелодично как у The Beatles, а по звуку как у Нины Кравиц, то, скорее всего, на выходе вас ожидает разочарование, так как результат будет звучать как фантастический уродец. Другими словами, для того, чтобы совместное с ИИ произведение было удачным, вы как хороший повар должны обладать знаниями о сочетаемости ингредиентов. А для этого и нужна музыкальная школа, где вас научат в том числе слушать, анализировать.
Нарушаются ли чьи-то авторские права,
когда мы обучаем нейросеть?

По мнению Александра Крайнова, руководителя Лаборатории машинного интеллекта компании «Яндекс»‎, ничьи права не нарушаются. «Предположим, я решил писать блюзовую музыку. Я послушаю сотню блюзовых композиций и потом напишу что-то свое. Должен ли я платить отчисления всем, чью музыку я слушал? Наверное, нет (ну не считая платы за прослушивание, там, где она нужна). Мы учим сеть базовым принципам, базовым гармониям в музыке. Чем больше произведений разных авторов, тем лучше. А уже обученная программа генерирует музыку быстро и в огромных масштабах, ей никто не нужен».
Где применяется ИИ-музыка сегодня
и какие у нее перспективы?

Наиболее вероятное будущее для музыкальных нейросетей – генерировать фоновую музыку там, где сама музыка не так важна: лаунж-зоны, рестораны, спортзалы. Еще один вариант применения – помощь музыкантам в поиске идей. «ИИ-инструменты могут стать средством преодоления writer's block – то есть временного отсутствия идей, ступора в выборе художественных средств для решения задач и тому подобных утилитарных вещей», – говорит композитор Станислав Бутовский.

С ним согласен музыкант Данил Жданов, который отмечает, что некоторые композиторы используют нейросети в экспериментальном режиме, чтобы получать исходный материал для своих тем. «И в творческом плане этого вполне хватает. Правда, нейросети выдают много откровенно проходного и странного материала, так что композиторам приходится перерывать тонны исходников в поисках жемчужин».
Данил Жданов
совладелец студии звукозаписи 1961 Studio,
музыкант и композитор, профессиональный маркетолог
Есть и другое применение, очень интересное в коммерческом плане. Например, если у нейросети будут какие-то ручки управления, человекопонятный интерфейс, с помощью которого даже абсолютно не разбирающийся в нотной грамоте и композиторстве клиент сможет сгенерировать музыку и накрутить нужный темп, стиль и переходы, то получится нечто вроде «конструктора музыки».

Представьте: нужна вам музыка для рекламы. Что вы делаете обычно? Идете на стоки или заказываете ее у музыкантов. А тут зашли в личный кабинет, выбрали нужное настроение и стиль (скажем, мечтательный фьюжн), нажали кнопку – и получили несколько вариантов уникальных треков. Такую систему предлагают коллеги из Ampermusic. Насколько она жизнеспособна, пока сложно судить. И справедливости ради надо сказать, что и у Ампера используется не «чистый ИИ», то есть на выходе получается произведение, в котором уже сильно поучаствовал человек.
Генератив не отличить от музыки, созданной людьми в сфере easy-listening музыки: фон для работы, учебы, медитаций, спорта и практик. Также большой потенциал в коммерческом использовании генеративной музыки: хорека, игры, приложения, которым нужна фоновая музыка, но не важен источник ее производства.

Алексей Кочетков
основатель Mubert Inc.
Кто напишет произведения, которые остануться в веках и будут считаться шедеврами? Весьма вероятно, что человек. Потому что для шедевра нужно что-то большее, чем подражательство. Но нейронная сеть без проблем будет в больших объемах генерировать базовую музыку. Вроде фоновой в лаунж-зонах или негениальной попсы.

Александр Крайнов
руководитель Лаборатории машинного интеллекта компании «Яндекс»‎
Кто решает, что трек хороший?
Только слушатель. В любом произведении главное – эмоция, которая донесена и получила отклик, говорит композитор Станислав Бутовский. «Именно такое определение безотносительно вкусовых предпочтений соответствует понятию "хорошая музыка". Если нет резонанса с собственным опытом слушателя или его переживаниями, произведение останется незамеченным. Примером служит огромное количество произведений, ежедневно выкладываемых в сеть, но сколько из них на самом деле находит свою аудиторию? Слушателю в целом неважно, кто написал музыку или как она была написана, важно воздействие, которое она оказывает на его чувства».
Как ИИ-музыка может себя монетизировать?
Пока непонятно. Александр Крайнов, руководитель Лаборатории машинного интеллекта компании «Яндекс»‎, указывает на работающее правило: «Если у вас есть огромное количество пользователей, то монетизация придет. Та же реклама. Была бы музыка». Напротив, музыкант и композитор Данил Жданов говорит, что у музыки, написанной без применения человеческого умственного труда, есть только один способ монетизации – в качестве «сервиса идей» для композиторов. «Транслировать ее в неизменном виде конечному потребителю – не сильно гуманная идея».
Цену создает спрос, а не время создания чего-либо. Скорость создания контента здесь играет ключевую роль в положительной монетизации. Слушателю не всегда важен источник контента. ИИ написал трек или знаменитый артист – если он звучит в эфире, значит, его можно монетизировать. При этом стоимость в производстве отличается на несколько порядков.

Алексей Кочетков
основатель Mubert Inc.
Кому будут принадлежать права на такую музыку?
Здесь возможно минимум три варианта. По мнению Александра Крайнова, руководителя Лаборатории машинного интеллекта компании «Яндекс»‎, права могут принадлежать либо тому, кто услышал и выбрал музыку, либо никому. «Пользуйтесь кто хотите. Права на нечто, созданное инструментом, принадлежат тому, кто им пользовался. Не тому, кто делал инструмент».

А музыкант и композитор Данил Жданов, напротив, считает, что результат работы нейросети может принадлежать ее владельцам. «Правовые концепции в отношении нематериальных активов, которые распространяются на музыку и программное обеспечение, применимы и к музыке, сгенерированной искусственным интеллектом», – говорит эксперт.
Раньше люди росли на музыке, созданной человеком. Что будет с теми,
кто растет на ИИ-композициях?

Иван Ямщиков
AI-евангелист ABBYY
Мне трудно представить ребенка, который воспитан только на музыке, написанной искусственным интеллектом. Ведь появление новой генеративной музыки никак не отменяет огромное количество других прекрасных произведений, созданных человеком в разные времена и эпохи. С появлением рока, регги, дабстепа и других жанров люди не перестали слушать классику.

Если «расти на музыке» означает пробовать слушать разное, вдумываться и разбираться в новых композициях, расширять музыкальный кругозор, то здесь искусственный интеллект будет только помогать. Хороший рекомендательный алгоритм, скорее всего, поможет ребёнку более широко изучить направления музыки, которые ему нравятся, и составить о них более глубокое представление.
Композиторы больше не нужны?
Представители рынка уверяют, что для лучших композиторов ничего не поменяется. «Результат работы нейросети может стать отправной точкой, основой, над которой можно творить, – говорит Александр Крайнов, руководитель Лаборатории машинного интеллекта компании «Яндекс»‎. Эксперт приводит пример. «Если попросить вас написать небольшую повесть. Сложно начать? А если так: три молодых друга приехали в небольшой город поздно вечером, один из них раньше жил там, но с детства не был, они заходят в бар и девушка-бармен узнала одного из них, но не того, кто раньше жил в этом городе, а его спутника. Проще?» Кажется, да.
Александр Крайнов
руководитель Лаборатории машинного интеллекта компании «Яндекс»‎
Нейросеть может дать некое ограничение и начало, триггер, который вызывает к жизни вашу творческую составляющую. Дальше можно домыслить, придумать сюжет, добавить персонажей. Нейронная сеть для композитора делает то же самое. Новый композитор будет запускать ее как инструмент, будет много прослушивать, что-то выбирать и дальше работать с понравившимся материалом.
Иван Ямщиков
AI-евангелист ABBYY
Как появление миди-клавиатур не значит, что больше не нужны рояли, а появление цифровых синтезаторов не значит, что больше не нужны аналоговые. Роботы-композиторы, основанные на алгоритмах глубокого машинного обучения, удачно воссоздают или имитируют существующий опыт – произведения в духе того или иного «живого» исполнителя.

Мы с Алексеем Тихоновым в Creaited Labs работаем над алгоритмами, которые пишут музыку, к примеру, создали стилизацию Скрябина для открытия Yet Another Conference 2017. Люксембургская компания AIVA Technologies создала нейросеть, которая помогла сочинить заключительную часть неоконченной пьесы Дворжака «Из мира будущего». На недавно прошедшем в Петербурге фестивале Gamma музыку создавали сами музыканты, а ИИ выступал лишь как еще один инструмент. Поэтому, в целом речь идет не о вытеснении, а о творческом применении новых технологий.
Какие проблемы есть у ИИ-музыки сейчас?
Одни эксперты указывают на чисто технические вопросы. Например, что AI-музыка пока не звучит как нечто, созданное человеком. «Но только потому, что алгоритм еще не довели до совершенства, – подчеркивает Александр Крайнов. Кто-то считает, что распространению ИИ-музыки мешает консервативность публики. «Проблемы – ложные суждения, предвзятое отношение, нежелание менять устоявшееся мнение, – говорит Алексей Кочетков, основатель Mubert Inc. – Их решит время и устойчивое развитие генератива».

Другие подходят к вопросу философски. Так, музыкант и композитор Данил Жданов отмечает, что человеческий мозг не привычен к структурам и последовательностям, которые предлагает нейросеть. «Даже если полученные ноты озвучены натуральными семплами и мы не слышим разницу с живым музыкантом, ИИ не достает понятий о тонкой жанровой классификации и особенностях исполнения всего многообразия музыкальных приемов. Музыка, которая генерируется без участия человека, получается безэмоциональной, не может работать в качестве триггера настроения. Решение этой проблемы, как мне видится, одно – искусственному интеллекту нужны учителя, которые будут воспитывать в нем музыкальный вкус и, что самое сложное, заставят его испытывать эмоции».
Лера Рессер
музыкант
На мой взгляд, будущее ИИ невозможно без включения в концепцию человека как «потребителя» генеративной деятельности ИИ. Например, с точки зрения этики – у творца есть чувство ответственности за свою деятельность. Что на месте ответственности у ИИ? Или с точки зрения культурного кода – возможен ли настоящий диалог между «искусственным творцом» и его аудиторией? Как люди будут интерпретировать музыку, закономерности развития которой им не предугадать? Смогут ли люди исполнять такую музыку?

И дело не в нашей готовности к такому музыкальному продукту. Дело в том, «чему мы учим ИИ». Процесс принятия решения человеком сильно отличается от этого же процесса у ИИ. Человек социален на гормональном уровне, ИИ – нет. Недостаточно научить ребенка правилам поведения – если у него не развита способность к эмпатии, правила не будут значить ничего. Разница между «правильным» поведением и поведением, продиктованным сопереживанием, может быть колоссальной, а может и не быть, потому что это в первую очередь разница в способе принятия решения. Как включить этот многогранный «социальный фактор» в работу ИИ – вот в чем вопрос.
Осталось еще что-то, что неподвластно ИИ?
Способность мыслить творчески, фантазировать, отступать от шаблонов и вызывать эмоции – главные умения, которые отличают реального музыканта от искусственного.
Станислав Бутовский
композитор, автор песен, саунд-продюсер
Любая машина, даже которая способна гармонично комбинировать последовательности нот, выстраивать из них композиции и аранжировать, действует согласно прописанному алгоритму. И не делает отступлений. У машин отсутствует фантазия, то есть способность создавать немыслимое ранее. Машины пока на умеют креативно применять опыт наблюдения из других сфер жизни для создания музыки. Кроме того, создаваемые ими произведения, эмоционально не окрашены. Эмоциональную окраску этим произведениям способен дать только исполнитель музыки – человек.
Данил Жданов
совладелец студии звукозаписи 1961 Studio, музыкант и композитор, профессиональный маркетолог
Кроме нот музыка содержит много другой информации: стиль, динамика, особенности интонации и даже сочетания обертонов, участвующих в произведении инструментов. Из-за такого разнообразия информации, закодированной в произведении, у стерильного ИИ есть очень мало шансов самостоятельно создать нечто, что не будет звучать как минимум странно... По крайней мере, при сегодняшнем уровне развития технологий. Я уж не говорю про генерацию голоса для пропевания песни, представьте себе поющего робота! Экспрессия будет, мягко говоря, нечеловеческая.

ИИ хорошо себя показывает как генератор идей, коротких музыкальных фраз и даже мелодий. Но для того, чтобы это все стало завершенным треком, без работы композитора и музыкантов не обойтись. Они берут сгенерированные ИИ кирпичики и строят из них произведение, по пути добавляя свое собственное творчество. Только тогда эта музыка сможет выполнить главную задачу – вызывать эмоции и создавать настроение.
Чему учиться, чтобы быть востребованными
в ИИ-мире?

Машинной музыки неизбежно станет больше. Поэтому музыкантам и композиторам лучше уже сейчас прикинуть, чему новому они могут научиться, чтобы в будущем оставаться на плаву. Основной совет – развивать в себе все человеческое. Среди вещей, которые точно не повредят, эксперты называют желание работать в команде с искусственным разумом, умение рассуждать и задавать вопросы, стремиться постигнуть суть мироздания. Именно такие служители Эвтерпы продолжат будоражить умы и сердца людей. Интересуйтесь миром, копите знания, развивайте эмпатию и эмоциональный интеллект, и тогда искусственный разум встанет на вашу сторону.
Станислав Бутовский
композитор, автор песен, саунд-продюсер
Никаких специальных навыков не требуется, достаточно понимания того, как ИИ работает. Главное быть открытым к взаимодействию с ИИ на разных стадиях процесса создания музыки. Фактически перед композитором открываются бесконечные возможности использовать весь накопленный человеческий опыт, все зависит от того, насколько он готов довериться машине и каковы для конкретного композитора допустимые границы вмешательства ИИ в процесс.
Иван Ямщиков
AI-евангелист ABBYY
Думаю, что любому художнику, чтобы быть востребованным, нужно задавать вопросы, которые резонируют в душах его современников, а какими средствами он эти вопросы задаёт, использует при этом искусственный интеллект или нет, это не так уж важно. Музыканту или композитору не обязательно заниматься разработкой самому, так же как он не обязан сам производить скрипки, гитары или барабанные установки, чтобы играть на них и сочинять с их помощью музыку.

В большинстве известных музыкальных проектов последнего времени с применением ИИ так и происходит: технические специалисты создают нейросеть, а артисты использовали ее возможности для творчества. В качестве примера приведу новый альбом Холли Херндон PROTO: последние два года для него собирали записи различных звуков и голосов, которые стали данными для обучения нейросети, использованной для создания альбома.
© Rusbase, 2019
Автор: Зинаида Кунаковская

Фото на обложке: ArturVerkhovetskiy, Depositphotos
Татьяна Петрущенкова
Искусственная музыка: зачем нам The Beatles, если есть ИИ