Как искусственный интеллект изменит создание музыки

Продюсеры и авторы песен довольно неоднозначно относятся к идее автономного партнера, который мог бы предлагать варианты музыки или аранжировки, помогать с текстом или просто выполнять за них работу. При этом продвинутые модели цифровых звуковых рабочих станций (DAW), в том числе Logiс Pro, уже используют элементы ИИ, позволяющие автоматически определять и создавать маркеры темпа во время воспроизведения.

23 августа 2022 года в Москве RB.RU проведет Speed Dating, на котором стартапы, создающие продукты и сервисы в области креативных индустрий, лично презентуют свои проекты инвесторам. Участвовать.

Сторонние плагины вроде Magenta Studio от Google используют машинное обучение (МО), чтобы генерировать аккорды, мелодии, барабанные партии и даже количество тактов в аранжировке, основываясь на существующих MIDI-файлах и некоторых базовых параметрах, выставленных пользователем.

iZotope — один из ведущих производителей плагинов. Его продукты используют самые разные исполнители — от Skrillex до Трента Резнора и Just Blaze. В 2014 году исследовательская группа iZotope начала разработку своего алгоритма на базе МО, который помогал пользователям миксовать музыку. В качестве ориентира выбрали Facebook*.

Бэйли работает в компании с 2011 года, еще с тех пор, когда ИИ «не был таким привлекательным и шумным». Созданная технология — Track Assistant, внедренный в плагин Neutron — основана на машинном обучении и как бы «прислушивается» к звуку, определяет инструмент и выдвигает предположения по тому, как его лучше смиксовать.

«Для нас это стало настоящей удачей сразу в нескольких направлениях, — говорит Бэйли. — Во-первых, это был крутой технологический прорыв и первый пример того, куда мы действительно двигались в плане маркетинга. Мы позиционировали этот продукт как работающий на базе МО, и это было действительно интересно для нашей ключевой аудитории — главных технарей и "ботанов" аудиосообщества».

Фото в тексте: Unsplash

Журнал MusicTech назвал это «программой, которая сводит музыку за вас», и ее релиз лишь активизировал уже идущие споры об автоматизации, творчестве и роли ИИ в студии. На самом деле подобные инструменты существуют уже некоторое время, однако они предоставляют пользователю намного меньше возможностей влиять на результат.

«Честно говоря, изначально мы думали, что это будет полезная функция для людей, не столь опытных в создании музыки. Этот ассистент создан, чтобы помочь добиться хорошего звука, по крайней мере на старте. Мы отчаянно спорили, где тот верный баланс между полностью ручным и полностью автоматизированным процессом».

Для продюсеров и звукорежиссеров это близко к извечному спору о том, отберут ли роботы наши рабочие места. Но насколько он обоснован? Грань между инструментом и соавтором становится все более размытой, и журнал DJ Mag спросил у Бэйли, чувствуют ли в iZotope ответственость перед индустрией, и что это может означать для будущего производства музыки.

«Мне часто задают этот вопрос, и я обычно отвечаю так: если вы звукорежиссер и зарабатываете  на жизнь тем, что загружаете сессию, делаете общий микс и не вкладываете свое творчество и человечность, переходя к другой задаче, то да, к сожалению, технология вас заменит. Если вы не делаете продукт лучше, тогда вы просто решаете технические задачи, и технология вас заменит. Но я не думаю, что так работают многие».

Для диджеев, которые находятся в туре и проводят выходные в пути, а в будни имеют ограниченный доступ к студии, возможность сократить время работы в студии станет спасением.

«Проблема может быть совсем простой: скажем, вы сделали запись и открыли сессию. Уровни довольно неплохие, в миксе не так много посторонних частот — все в целом звучит неплохо. И для творческой работы это не конечная, а отправная точка. Среди известных мне звукорежиссеров многие оценили бы возможность фокусироваться на творческой части работы», — настаивает Бэйли.

Он считает, что ответственность здесь лежит не на влиянии инструментов на индустрию, а на злоупотреблении ими. И здесь речь заходит о дипфейках.

Читайте по теме: Google, Facebook* и Twitter обяжут бороться с дипфейками

«Сейчас исследования в области глубокого обучения сосредоточены преимущественно на синтезировании контента. Дипфейки позволяют синтезировать контент, который не существовал ранее. Но с двух сторон уравнения появляются довольно интересные этические вопросы. Насколько этично мы используем чужие данные для создания моделей? Для меня это очень важно».

«С другой стороны, этично ли используются приложения с нашими алгоритмами? Не знаю, возможно ли это гарантировать. Если кто-то использует инструмент iZotope, чтобы создать несуществующее соло Майлза Дэвиса, этично ли это? Хорошо ли это для мира? Не уверен. Нашей цивилизации придется решить эту проблему при помощи этих инструментов».

Дипфейки — наиболее очевидная, но не единственная проблема, связанная с производством музыки при помощи ИИ и МО. Такие инструменты соблазнительны для многих представителей творческих профессий, которые работают в жестких временных рамках и устают от часов прослушивания музыки и долгих поездок.

Фото в тексте: Unsplash

В таких условиях возможность использовать программу, которая всегда «исправит» и «улучшит» трек, вызывает сомнения, знакомые многим музыкантам, — и тем, кто пишет первый трек, и тем, кто уже 20 лет находится в профессии.

Очень заманчиво получить второе мнение от ИИ, который подтвердит, что вы находитесь на верном пути. В конце концов, алгоритм знает все, и неопытный музыкант легко ему доверится.

Коллаборация с человеком — не только обмен идеями, поддержка друг друга и демонстрация противоречивых музыкальных влияний, но и возможность разделить трудности в продвижении полученного произведения. Как только ИИ станет более компетентным участником творческого процесса, вопросов появится больше. Пока iZotope концентрируется на решении проблем.

«Создавая инструменты, мы не задумываемся об этом. Наша миссия — предоставлять инструменты, которые позволяют людям быть креативными. Создание и продюсирование музыки было исключительно технической дисциплиной, и благодаря вмешательству прорывной технологии становится все более творческой, позволяя большему число людей участвовать».

По его словам, звуковая маскировка двух треков — не особенно творческая проблема. Но решать, какая дорожка должна быть основной — бас или вокал — это вопрос, ответить на которой должен автор.

Если это неизбежно, значит через несколько лет каждый плагин будет иметь встроенный искусственный интеллект?

«Сейчас рынок разделился в плане того, как производятся плагины, — объясняет Бэйли. — Есть эмуляция аналогового оборудования и есть чисто программные продукты вроде iZotope и FabFilter. Я знаю, что в обеих категориях есть компании, которые используют глубокое обучение, даже такие, как Univeral Audio, продукт которых заключается в эмуляции аналогового оборудования. МО дает нам технологии, чтобы делать это эффективнее. Я думаю, в будущем мы будем видеть все больше подобных инструментов».

Пока такие компании, как iZotope и Univeral Audio, тайно изучают потенциал ИИ в контексте пользовательского опыта, другие выбирают более экстремальный подход и полностью переосмысливают потенциал ИИ в создании музыки на компьютерах.

Фото в тексте: Unsplash

В 2020 году Йотам Манн и Крис Динер основали проект Never Before Heard Sounds (NBHS).

«Я чувствовал большие возможности для вещей, которые не просто демонстрировали силу ИИ, но и использовали ее, предоставляли ее музыкантам, позволяя создавать новую и интересную музыку», — говорит Манн.

NBHS пытается переосмыслить взаимодействие с ИИ в студии и на сцене, отдавая приоритет музыканту, а не инструменту.

«Поход, который мы используем, заключается не в том, чтобы добавить магии и сказать, что волшебный ИИ исправит проблемы с музыкой за вас, а в том, чтобы сделать алгоритмы как можно прозрачнее и полезнее. Вот почему мы называем их инструментами. Они нужны, чтобы брать их в руки и играть ими, а не добавлять магический слой поверх вашей работы», — отмечает Манн.

Сооснователь NBHS Крис Динер, барабанщик американской группы Plus/Minus, добавляет: «В некоторых смыслах то, чем мы занимаемся, не так привлекательно, как инструмент, который делает все за вас, как обещали ИИ и МО. Мы оба музыканты, и нам действительно интересна человеческая составляющая процесса».

Как обсуждалось выше, человеческая составляющая создает собственные этические вопросы.

«Риск ИИ в том, что вы получаете машину, которая создает песни, но никогда не указывает, какие вещи для этого использует. Поэтому для нас было очень важно продемонстрировать музыкантам, как это получилось. Мы думаем об этих генеративных моделях не как о сущностях с искусственным интеллектом, а как о посредниках между вами, конечным музыкантом и всеми, кто участвовал в создании модели».

Придуманный ими новый тип DAW стоит на шаг впереди. Последние 20 лет рабочие станции практически не менялись: большинство состояли из страницы линейной компоновки, раздела микширования и MIDI-редактора.

Читайте по теме: 7 бизнес-идей для заработка в креативной экономике

Хотя внешние интерфейсы DAW отличаются, и у каждого есть свое уникальное предложение, пользователь Cubasis Atari 1989 года наверняка сможет в них разобраться. ПК становятся все мощнее, а облачные вычисления позволяют удаленно обрабатывать сложные данные. Возможно, пора представить переосмысленный DAW, созданный вокруг ИИ и МО?

Динер признает, что они уже задумываются об этом. Миссия компания в том, чтобы с помощью ИИ и МО предлагать новые формы создания музыки. DAW предлагает использовать разные типы МО, не только моделирование. Работа в этом направлении уже ведется.

Возможно, привычный интерфейс окончательно уйдет в прошлое. «Мы хотим полностью его переосмыслить, предложив что-то более веселое. Мы пытаемся придумать новый способ взаимодействия».

Одна из самых впечатляющих возможностей DAW на базе МО — возможность использовать в собственном проекте стиль сведения определенного автора.

«Если вам очень нравится стиль какого-то продюсера, можно использовать его подход и воссоздать на своем DAW. Вам либо придется повертеть каждую ручку и слайдер, либо просто использовать единый инструмент, который будет действовать как продюсер в коробке», — говорит Манн.

«Только на другом конце будет человек, — быстро добавляет Динер. — Это не просто ИИ-продюсер».

Вероятно, музыкальную индустрию ждут самые масштабные изменения за десятки лет — от ИИ инструментов для сведения и удаления стэмов до DAW на базе МО.

* Meta и входящие в нее Facebook и Instagram признаны экстремистскими организациями, деятельность которых запрещена в РФ.

Источник.

Фото на обложке: Unsplash