Без субтитров и дубляжа: в будущем ИИ позволит синтезировать голоса актеров для рекламы, кино и ТВ

Иностранные хиты вроде «Игры в кальмара» и «Бумажного дома» собирают рекордную аудиторию, но субтитры все еще становятся камнем преткновения для студий, пытающихся освоить растущий международный рынок.

Дублированную версию «Игры в кальмара» посмотрело больше подписчиков Netflix, чем версию с субтитрами.

Поскольку блокбастеры очень ресурсозатратны, мелким производителям контента на иностранных языках трудно найти достаточное количество переводчиков и актеров озвучания, чтобы удовлетворить спрос.

«Мы застряли в модели вещания “один ко многим”», — сетует Райан Стилберг, сооснователь и президент ИИ-компании Veritone.

Компания Veritone разработала продукт под названием MARVEL.ai, который позволяет производителям контента генерировать и регистрировать так называемые «гиперреалистичные» синтетические голоса.

Это означает, что, например, создатели подкастов могут перевести текст аудиорекламы на другой язык, а затем MARVEL.ai создаст синтетическую версию их голоса, читающего рекламу на новом языке.

«Он дает возможность “гиперперсонализировать” аудио в гораздо бо́льших масштабах при меньших затратах», — объяснил Стилберг.

Преобразование текста в речь существует уже несколько десятилетий, но продукт Veritone «преобразует речь в речь», что Стилберг описывает как «голос как услуга» (англ. — voice as a service).

Veritone имеет доступ к петабайтам данных из медиатек и использует их для обучения своего ИИ, создавая синтетическую версию голоса, который может быть настроен на различные эмоции, или, с помощью перевода, говорить на иностранном языке.

Nvidia разрабатывает технологию, которая позволит ИИ изменять видео и анимацию таким образом, что движения губ и мимика актера будут соответствовать новому языку — и можно будет забыть о дубляже без синхронизации, как в фильмах о кунг-фу 1970-х годов.

Эта технология, скорее всего, сначала будет применяться в рекламе, но, по мере ее распространения на более высококачественный контент, она сулит звездным талантам как новые возможности, так и подводные камни.

«С точки зрения дубляжа и пост-продакшна синтетические голоса станут обыденным делом, и станут одним из условий контрактов со знаменитостями», — считает Стилберг.

Это будет нужно не только, чтобы голливудские звезды (и их агенты) получали отчисления за любое использование их синтезированного голоса, но и для того, чтобы их голоса не эксплуатировались в недобросовестных целях из-за растущей доступности технологии.

Голограммы умерших музыкантов, таких как Фрэнк Заппа, уже позволяют проводить «живые» шоу, которые приносят организаторам десятки миллионов долларов прибыли. Американский саксофонист Кенни Джи недавно выпустил «дуэт» с великим джазменом Стэном Гетцем, который умер 30 лет назад.

Образцы нот из библиотеки Гетца были использованы для создания новой, синтетической мелодии — хотя и такой, которую джазовый критик Тед Джоя назвал «записью Франкенштейна».

В скором времени нам придется свыкнуться с тем, что знаменитости будут говорить практически на любом языке. Селебрити, в свою очередь, должны привыкнуть, что их волеизъявления теперь будут изучать с особой тщательностью.

Источник.