Истории

Без субтитров и дубляжа: в будущем ИИ позволит синтезировать голоса актеров для рекламы, кино и ТВ

Истории
Артём Маилян
Артём Маилян

Редактор рубрики «Истории»

Артём Маилян

Из-за глобализации сферы развлечений иноязычный контент становится все более важным для студий и стриминговых сервисов. Передовые достижения в области синтеза голоса помогут решить проблемы, связанные с дубляжом. Однако они вызывают и опасения — из-за возможных манипуляций с помощью технологии deep fake, а также того, что голос знаменитости может быть использован после смерти.

Без субтитров и дубляжа: в будущем ИИ позволит синтезировать голоса актеров для рекламы, кино и ТВ

Иностранные хиты вроде «Игры в кальмара» и «Бумажного дома» собирают рекордную аудиторию, но субтитры все еще становятся камнем преткновения для студий, пытающихся освоить растущий международный рынок.

Дублированную версию «Игры в кальмара» посмотрело больше подписчиков Netflix, чем версию с субтитрами.

Поскольку блокбастеры очень ресурсозатратны, мелким производителям контента на иностранных языках трудно найти достаточное количество переводчиков и актеров озвучания, чтобы удовлетворить спрос.

«Мы застряли в модели вещания “один ко многим”», — сетует Райан Стилберг, сооснователь и президент ИИ-компании Veritone.

Компания Veritone разработала продукт под названием MARVEL.ai, который позволяет производителям контента генерировать и регистрировать так называемые «гиперреалистичные» синтетические голоса.

Это означает, что, например, создатели подкастов могут перевести текст аудиорекламы на другой язык, а затем MARVEL.ai создаст синтетическую версию их голоса, читающего рекламу на новом языке.

Все про картриджи — по ссылке

«Он дает возможность “гиперперсонализировать” аудио в гораздо бо́льших масштабах при меньших затратах», — объяснил Стилберг.

Преобразование текста в речь существует уже несколько десятилетий, но продукт Veritone «преобразует речь в речь», что Стилберг описывает как «голос как услуга» (англ. — voice as a service).

Veritone имеет доступ к петабайтам данных из медиатек и использует их для обучения своего ИИ, создавая синтетическую версию голоса, который может быть настроен на различные эмоции, или, с помощью перевода, говорить на иностранном языке.

«Скажем, от лица Тома Круза больше не будет говорить другой актер, — объясняет Стилберг. — Это будет голос самого Круза, но звучащий на другом языке».

Nvidia разрабатывает технологию, которая позволит ИИ изменять видео и анимацию таким образом, что движения губ и мимика актера будут соответствовать новому языку — и можно будет забыть о дубляже без синхронизации, как в фильмах о кунг-фу 1970-х годов.

Эта технология, скорее всего, сначала будет применяться в рекламе, но, по мере ее распространения на более высококачественный контент, она сулит звездным талантам как новые возможности, так и подводные камни.

«С точки зрения дубляжа и пост-продакшна синтетические голоса станут обыденным делом, и станут одним из условий контрактов со знаменитостями», — считает Стилберг.

Это будет нужно не только, чтобы голливудские звезды (и их агенты) получали отчисления за любое использование их синтезированного голоса, но и для того, чтобы их голоса не эксплуатировались в недобросовестных целях из-за растущей доступности технологии.

Голограммы умерших музыкантов, таких как Фрэнк Заппа, уже позволяют проводить «живые» шоу, которые приносят организаторам десятки миллионов долларов прибыли. Американский саксофонист Кенни Джи недавно выпустил «дуэт» с великим джазменом Стэном Гетцем, который умер 30 лет назад.

Образцы нот из библиотеки Гетца были использованы для создания новой, синтетической мелодии — хотя и такой, которую джазовый критик Тед Джоя назвал «записью Франкенштейна».

В скором времени нам придется свыкнуться с тем, что знаменитости будут говорить практически на любом языке. Селебрити, в свою очередь, должны привыкнуть, что их волеизъявления теперь будут изучать с особой тщательностью.

Источник.

Фото на обложке: Tero Vesalainen / Shutterstock

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Зачем бизнесу авторские телеграм-каналы: объясняем на примере «Альфа-Капитал»
  2. 2 Реклама будущего: 5 трендов, которые могут полностью изменить рынок
  3. 3 «Одна яблочная компания». Как упоминание в кино и сериалах влияет на бренды
  4. 4 Срочно в номер: как следить за трендами и использовать их для работы с медиа
  5. 5 Рождение звука и инновации восприятия: история компании Dolby
HP
Оригинальный картридж или «клон». В чем разница?
Угадай