Эмбиент от ИИ: композитор и разработчик Siri адаптируют музыку под состояние слушателя

Эта задумка появилась у Шеппарда в 2016 году, во время одной из его регулярных прогулок по лесу. Ему не хотелось озадачиваться выбором музыки, и именно тогда пришла мысль о сервисе, который бы формировал мелодию, ориентируясь на изменения в состоянии слушателя и его окружении. Например, скрипки могли бы взлетать с вибрато в тот момент, когда солнце пробивается сквозь деревья. Флейты могли бы выводить трели вместе с певчими птицами.

Для этого система должна не только обрабатывать несколько типов входных данных — звук, картинку, биометрию, скорость, погодные условия — но и достаточно хорошо понимать музыку, чтобы преобразовывать полученную информацию в связную композицию. Шеппард попытался наметить решение — в основном указывая, как внешние факторы могут менять партитуру, — но для полноценной реализации идеи ему нужен был специалист по искусственному интеллекту.

К счастью, Шеппард знал идеального кандидата: им был Том Грубер, один из создателей умного помощника Siri, а затем и один из топ-менеджеров Apple по искусственному интеллекту. Грубер даже выступал на TED с докладом под названием «Гуманистический ИИ», призывая к сотрудничеству между людьми и машинами. Шеппард и Грубер встретились на конференции в Монтерее в 2010 году и стали друзьями. Шеппард рассказал Груберу о своей идее в 2017 году. Они стали CEO и CTO новой компании. (Грубер покинул Apple в 2018 году.)

Три года спустя результатом их совместной работы стал сервис LifeScore, который предлагает клиентам — от разработчиков видеоигр до автопроизводителей — заказывать музыку, записывать ее с первоклассными исполнителями и лицензировать. В итоге получаются уникальные комбинации музыкальных партий, которые ремикшируются на ходу. Люди-композиторы обычно синхронизируют свою работу со сценарием, но сочинением музыки в LifeScore управляет ИИ-дирижер, и он поступает иначе. Алгоритм сопоставляет арпеджио и пианиссимо с опытом слушателей в реальном времени, часто комбинируя фразы и инструментовки так, как композитор-человек не мог бы себе и представить.

Публичный дебют компании состоялся в прошлый четверг, 21 мая. Саундтрек LifeScore сопровождает новый сезон сериала Artificial («Искусственный»), который демонстрируется на платформе Twitch. Artificial транслируют в прямом эфире, а развитие его сюжета в стиле «выбери свое приключение» определяют зрители. Благодаря LifeScore реакция аудитории также влияет на музыку.

Филип Шеппард, CEO LifeScore, играет на виолончели в студии Abbey Road. Фото: Аса Матат, LifeScore

Но это только прелюдия к главной цели компании: предоставить значимый музыкальный опыт. Шеппард говорит, что его как композитора самые сильные чувства охватывают, когда мелодия, которая ранее существовала только в его уме и в виде нот, превращается ​​в звук. «Вот где живут мурашки для создателя», — говорит он. Теперь Шеппард хочет подарить это ощущение всем людям в контексте их повседневной деятельности. «Мне бы хотелось, чтобы это происходило каждый раз, когда кто-то слушает музыку, если это возможно, — делится он. — Таким образом, люди получат удовольствие от возможности быть почти что композитором в этом уравнении». (Хотя на «сочинение» могут влиять стимулы, которые традиционно не считаются творческими, например, частота пульса.)

Но ничего из этого не может произойти без другого не упоминающегося в титрах соавтора — ИИ. Грубер и его небольшая команда инженеров создали алгоритм, который может принимать входные данные и создавать композиции на лету, изменяя тон, темп и оркестровку. В то же время он создает ощущение, будто мелодия была продумана заранее.

Так как же LifeScore это делает? Как и в любой другой музыке, все начинается с создателя-человека. И Шеппард, и Грубер подчеркивают, что им не нужен алгоритм, который будет сочинять композиции сам, и этим отличаются от некоторых других разработчиков. «Вся моя карьера подчинена этой идее: давайте дополнять, а не автоматизировать, — говорит Грубер. — В мире много музыки и много музыкантов. Но нет решения, с помощью которого вы могли бы взаимодействовать с музыкой и участвовать в ее сочинении».

Создатели музыкальных тем для LifeScore должны понимать, что они не авторы, а соавторы и создают основу, которая будет преобразована как ИИ, так и самими слушателями. Эти композиторы пишут не самостоятельные симфонии или поп-мелодии, а фрагменты, которые можно бесконечно комбинировать. Шеппард говорит, что это музыкальный эквивалент Lego-Brick Kit. Группы инструментов могут воспроизводить определенные части композиции по отдельности или объединяться в более сложные оркестровки. Несколько часов музыки, записанной в студии, можно растянуть до тысяч часов воспроизведения без повторов.

Шеппард демонстрирует конечный продукт через Zoom из своей гостиной в Лондоне. Он запускает мелодию, подходящую для одной из его лесных прогулок. Неоклассическая музыка, играющая на его iPhone, кажется оживленной и воодушевляющей. Шеппард поворачивает телефон влево, и музыка реагирует на сигнал гироскопа. (Сейчас система не обрабатывает биометрические данные, но добавить это будет «несложно», говорят в компании.)

«Виолончель выходит на первый план — не предполагалось, что так будет», — отмечает Шеппард. Мы ждем, пока струны дойдут до самых высот. «Я раньше не слышал эту музыку», — говорит композитор.

Сериал Artificial идеально подходит для тестирования LifeScore. Это история в духе мифа о Пигмалионе об андроиде и ее создателе, в которой актеры играют вживую и которая уже использует отзывы зрителей для управления сюжетными линиями. Исполнительный продюсер Artificial Берни Су искал идею для нового сезона и был поражен демо LifeScore.

«У каждого персонажа есть определенная музыкальная тема, как в ″Пете и волке″», — объясняет Су. Эти темы учитывают эмоции, которые зрители выражают в чате. Мелодии делятся на четыре эмоциональных класса: веселые, грустные, загадочные и напряженные. (Эта грубое деление со временем станет более сложным: улучшив навыки распознавания ИИ, LifeScore сможет интерпретировать изображения, звуки и язык сцен достаточно хорошо, понимая, какие музыкальные эмоции следует выражать). Когда ИИ разберется, как переводить эмоции на язык музыки, то начнет менять ее соответствующим образом, например, замедлять в напряженные моменты. Каждая из перечисленных выше категорий обладает тремя уровнями интенсивности: большое количество отзывов может увеличить громкость музыки или выбор инструментов. Как и композитор, ИИ понимает, какая музыкальная грамматика вызывает отклик у аудитории.

Другим важным способом использования LifeScore в сфере развлечений станут видеоигры. Шеппард сочинил множество саундтреков для этого жанра и считает, что умение LifeScore превратить несколько часов студийного времени в почти бесконечное разнообразие музыкальных настроений и мелодий даст ей преимущество над нынешней практикой бесконечного зацикливания частей партитуры в то время, когда игроки исследуют виртуальные миры.

Создание звукового пространства для бизнес-клиентов — это еще один большой рынок, на который может проникнуть LifeScore. «Компании теперь думают о музыке как о части среды, которую они продают как единый продукт, — объясняет Грубер. — Поэтому мы движемся и в этом направлении тоже».

Дедушка этого бизнеса — компания Muzak, название которой стало уничижительным обозначением скучных и приторных кавер-версий едва ли популярных мелодий. Может быть, именно поэтому в 2017 году Muzak сменила название на Mood Media. Это гигант в сфере лицензирования, измеряющий успех по таким показателям, как увеличение продаж в магазинах, которые используют один из тысяч плейлистов с написанными на заказ мелодиями.

Кажется, что LifeScore находится в прямой конкуренции с Mood Music. Но Шеппард и Грубер утверждают, что их продукты существуют в разных вселенных. Мелодии Muzak воспринимаются на подсознательном уровне, а LifeScore хочет создать генератор мурашек. Шеппард с энтузиазмом вспоминает, как однажды показал демо программы «строгому человеку из мира бизнеса», а тот расплакался, когда перемещение телефона измененило композицию. «Это было очень мило и, я так думаю, для него еще и довольно неловко», — говорит Шеппард.

Компания считает, что вождение — идеальный сценарий для использования LifeScore, и говорит, что уже ведет переговоры с автопроизводителями. В качестве входных данных могут использоваться скорость, дорожные условия, погода и близость к месту назначения. Еще один большой рынок, на который надеется попасть компания, — это велнес, где формировать мелодию помогут пульс и другие биометрические показатели. LifeScore уже записал музыкальные партии, подходящие для йоги, кардиотренировок и медитации. Компания также анализирует большие наборы биометрических и поведенческих данных, чтобы увидеть, как люди реагируют на музыкальные сигналы. В перспективе LifeScore сможет адаптировать композиции «для оптимизации таких показателей самочувствия, как расслабление, уровень физических усилий и концентрация внимания».

Другой сценарий для инструмента LifeScore выглядит так: работодатели смогут создавать с его помощью эмбиент для офисов. Грубер приводит такой пример: музыка станет энергичнее, если ИИ заметит ухудшение осанки. По его словам, в отличие от более грубых средств повышения производительности, подход LifeScore будет приветствоваться. «Если вы имеете дело с музыкой, — говорит он, — то можете использовать более гуманные средства, чем просто прямая обратная связь». Однако есть подозрение, что миллионы людей, которые в офисе слушают свою музыку через наушники, могут не посчитать эту меру приятной. Они также могут не обрадоваться камерам и другим датчикам для контроля за их состоянием.

Когда Шеппард впервые пришел в знаменитую студию звукозаписи Abbey Road, он использовал Studio Two, где живут призраки The Beatles. (Микрофоны, которые Джордж Мартин предоставил группе, все еще работают, и при возможности Шеппард использовал именно их.) Он также совершал набеги в похожую на пещеру Studio One, где однажды собрал 90 музыкантов для записи фоновой музыки для видеоигры. «Но по-настоящему я влюбился в Studio Three», — говорит он. Именно там Pink Floyd записали The Dark Side of the Moon. Шеппард записал там саундтрек для Artificial.

В отличие от мелодий, которые появлялись в Abbey Road на протяжении десятилетий, эта музыка никогда не попадет в чарты. Она даже не будут закончена, пока не прозвучит в колонках и наушниках людей, находящихся в гостиных, автомобилях, студиях йоги и лесах. Станут ли композиции LifeScore, дополненные ИИ, своеобразными хитами? Только если от них побегут мурашки по коже.

Источник.

Фото на обложке: главный герой Artificial, которого играет Тохору Масамуне, и матрица музыкальных тем сериала, Lifescore