Top.Mail.Ru
Новости

Нейросети «Яндекс.Браузера» начали переводить видео с китайского языка

Новости
Анастасия Марьина
Анастасия Марьина

Руководитель отдела новостей RB.RU

Анастасия Марьина

Нейросети «Яндекс.Браузера» научились переводить видео с китайского языка и автоматически накладывать русскую озвучку, сообщил представитель «Яндекса». Технология уже работает на YouTube, позднее будет доступна поддержка популярной китайской видеоплатформы Bilibili.

Нейросети «Яндекс.Браузера» начали переводить видео с китайского языка
  1. Новости

Сообщается, что для обучения нейросети разработчики «Яндекса» с нуля собрали собственный датасет, так как готовых решений не было. С помощью специального алгоритма они обработали 1,5 млн видео и выбрали 100 тыс. с качественными субтитрами на севернокитайском языке, которым владеет более 1 млрд человек.

Нейросети «Браузера» выучили тысячи иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 тыс. токенов.

Для сравнения: пять европейских языков, которые «Браузер» научился переводить ранее, уместились в библиотеку на 5 тыс. токенов. Один токен равен одному слогу или регулярно использующемуся сочетанию двух слогов.

Одновременно с этим нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с исходной речью и улучшить его качество.

За один месяц «Браузер» также изучил четыре тона китайского языка, определяющие смысл сказанного.

«Яндекс.Браузер» сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно нажать на кнопку «Перевести видео».

  • Ранее «Яндекс» добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций для некоторых YouTube-каналов, в том числе TED, Google, Apple, SpaceX.
  • В марте 2022 года в «Яндекс Браузере» появились интерактивные субтитры к видео на английском, французском, немецком и испанском языках. Компания также добавила опцию подсветки по словам — кликнув на неизвестное слово, пользователь получит мгновенный перевод. 

Фото на обложке: Unsplash

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 «Яндекс» обновил технологию фотоперевода с помощью нейросетей
  2. 2 В «Яндекс Браузере» появился текстовый редактор на базе нейросети YandexGPT
  3. 3 YouTube прекратил воспроизводить видео в высоком качестве — ТАСС
  4. 4 «Яндекс» добавил генерацию изображений в интерфейс своего браузера и перевод видео с японского и корейского
  5. 5 Нейросеть «Яндекс.Браузера» начала переводить любые YouTube-трансляции с пяти языков
FutureFood
Кто производит «альтернативную» еду
Карта

ВОЗМОЖНОСТИ

14 октября 2024

14 октября 2024