Истории

Израильский стартап CannyAI использует технологию VDR для дубляжа видео

Истории
Александра Степанова
Александра Степанова

Редактор

Александра Степанова

Израильский стартап CannyAI использует технологию VDR (Video Dialogue Replacement) для перевода видео на разные языки, устраняя необходимость в субтитрах. Сооснователь компании Джонатан Хейманн рассказал порталу NoCamels о создании проекта и особенностях его работы.

Израильский стартап CannyAI использует технологию VDR для дубляжа видео

«Когда Netflix запустил стриминг в Израиле, он провел несколько экспериментов по локализации контента», — вспоминает Хейманн. Он посмотрел дублированные шоу вместе с будущим сооснователем CanniAI Омером Бен-Ами. Хейманн и Бен-Ами сошлись во мнении, что это выглядит ужасно, и попробовали решить проблему.

Вскоре они с удивлением обнаружили, что никто другой не пытается это сделать. Достаточно быстро им стало очевидно, что основная трудность дубляжа заключается в невозможности изменить диалог после записи. У Хейманна и Бен-Ами был опыт разработки программного обеспечения в Армии обороны Израиля и Тель-Авивском университете. Они начали искать технологическое решение обнаруженной проблемы и в 2017 году основали CannyAI. 

Компания использует технологию VDR для удовлетворения растущей потребности в персонализированном локализованном контенте — например, для перевода рекламных роликов на различные языки и диалекты. VDR легко перепутать с технологией дипфейк, которая позволяет накладывать существующие изображения на готовые видео с помощью ИИ. Представители CannyAI заявляют, что это не одно и то же: в рамках технологии дипфейк лицо одного человека в видео можно заменять на другое, тогда как в VDR происходит замена звука «при одновременной синхронизации артикуляции и мимики с исходным видео».

Чтобы показать практическое применение технологии VDR, CannyAI записали видео с мировыми лидерами, исполняющими песню Imagine Джона Леннона.

Знаменитый ролик CannyAI 2019 года с Марком Цукербергом также был создан с помощью данной технологии. В нем основатель Facebook будто бы хвастается тем, что «имеет доступ к украденными данным миллиардов людей». Видеофрагмент был взят из выступления Цукерберга о вмешательстве России в выборы в США с помощью Facebook, записанного в 2017 году.

Дипфейк широко используется в поддельных новостях новостях (особенно в разгар национальных политических кампаний), что вызывает беспокойство у компании. Эти и другие злоупотребления, в том числе для создания порнографического контента, формируют негативное отношение к технологии.

«В последнее время дипфейк чаще всего упоминается в связи с фальшивыми новостями. Поэтому мы решили создать нечто объединяющее, чтобы показать позитивные возможности данной технологии», — сказал Бен-Ами, комментируя запись видео Imagine.

«Конечно, мы учитываем этические соображения», — добавляет Хейманн, описывая внутренние процедуры CannyAI. Компания внимательно изучает и утверждает все финальные и исходные видео, чтобы гарантировать соблюдение прав и отсутствие злого умысла. Полный процесс включает загрузку финального и исходного видео, обзор их соответствия, применение алгоритмов ИИ, работу над качеством изображения и добавление водяных знаков перед выпуском окончательного варианта ролика.

Сначала CannyAI занималась дубляжом телешоу, повторно использовала существующие видео и переводила обучающие ролики на разные языки. Сейчас компания разрабатывает решение, которое может полностью устранить потребность клиентов в заказе видео.

Производство роликов стоит дорого: в цену входят аренда студии, зарплата съемочной группы и монтажера, а также расходы на визуальные эффекты. CannyAI планирует создать библиотеку качественных видеоматериалов, чтобы пользователь мог «выбирать ролик с говорящим человеком, как на Shutterstock, и менять текст в кадре», объясняет Хейманн. Это позволит небольшим компаниям выпускать качественные видео о своих продуктах, которые они пока не могут себе позволить из-за их дороговизны. Для этого CannyAI ищет подходящую студию, актеров, специалистов по анимации и сценаристов.

Источником вдохновения для основателей CannyAI послужил проект Face2Face, который реконструирует мимику. Дочерний проект компании под названием Synthesia в настоящее время занимается дубляжом.

CannyAI отличается от конкурентов тем, что фокусируется на создании качественных видео с точной передачей мимики и артикуляции, в то время как другие стартапы создают видео более низкого качества, имитируя только основные выражения лица. Компания пробует различные технические приемы. Видео уровня CannyAI чрезвычайно утомительно создавать с помощью традиционной компьютерной графики, поэтому этот механизм используется крайне редко — как правило, для улучшения движений губ при произнесении одного-двух слов.

Несмотря на небольшой срок существования, компания уже успела посотрудничать с MIT, Warner Music Group, Keshet и даже поучаствовала в создании короткометражного фильма, который был представлен на Международном фестивале документальных фильмов в Амстердаме (IDFA). Стартап часто упоминается в ведущих израильских СМИ, таких как Channel12 и Mako.

У Хейманна и Бен-Ами есть два консультанта, один из которых получил докторскую степень по статистике в Йельском университете, а другой специализируется на кино и занимается постпродакшеном аудио.

В 2018 году CannyAI приняла участие в первом цикле акселератора, запущенного службой безопасности Израиля (ISA или Shin Bet на иврите) и TAU Ventures, инвестиционным подразделением Тель-Авивского университета.

Источник.

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 «Ростелеком» и Devar разработали платформу для детей на основе AI и AR
  2. 2 «Алгоритмы не спят, не болеют, быстро проверяют сотни гипотез»: как искусственный интеллект помогает бороться с вирусом
  3. 3 «Яндекс.Дзен» открыл авторам возможность работать с видео
  4. 4 Конструкторы сайтов, простые редакторы фото и видео: 14 онлайн-сервисов, которые сделают жизнь гуманитариев проще

Актуальные материалы —
в Telegram-канале @Rusbase

ВОЗМОЖНОСТИ

15 августа 2020

ArtMasters

19 августа 2020

Tele2 Solutions Days

20 августа 2020

#Прокачайбизнес