Закадровый перевод видео в браузере «Яндекса» обзавелся 12 голосами

Нейросеть переводит речь в текст, затем восстанавливает пунктуацию и определяет границы предложений. Позднее к ней подключается другая система, которая анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми.

По оценке компании, примерно половина YouTube-роликов на иностранных языках — это видео с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно, подчеркивают в компании, поэтому «Яндекс» добавил в свои сервисы еще десять новых голосов.

В июле 2021 года «Яндекс» показал прототип машинного перевода видео. Новая технология, не имеющая аналогов в мире, объединила в себе машинный перевод, технологии биометрии, распознавания и синтеза речи.

В сентябре того же года англоязычные ролики на YouTube, Vimeo, Facebook, Twitter и TikTok стали доступны в русской озвучке — «Яндекс» начал предлагать их автоматический перевод. Через два месяца компания добавила перевод еще для видео на французском, испанском и немецком языках.