Нейросети «Яндекс.Браузера» научились переводить видео с китайского языка и автоматически накладывать русскую озвучку, сообщил представитель «Яндекса». Технология уже работает на YouTube, позднее будет доступна поддержка популярной китайской видеоплатформы Bilibili.
Сообщается, что для обучения нейросети разработчики «Яндекса» с нуля собрали собственный датасет, так как готовых решений не было. С помощью специального алгоритма они обработали 1,5 млн видео и выбрали 100 тыс. с качественными субтитрами на севернокитайском языке, которым владеет более 1 млрд человек.
Нейросети «Браузера» выучили тысячи иероглифов, каждый из которых читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 тыс. токенов.
Для сравнения: пять европейских языков, которые «Браузер» научился переводить ранее, уместились в библиотеку на 5 тыс. токенов. Один токен равен одному слогу или регулярно использующемуся сочетанию двух слогов.
Одновременно с этим нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки, чтобы точнее синхронизировать перевод с исходной речью и улучшить его качество.
За один месяц «Браузер» также изучил четыре тона китайского языка, определяющие смысл сказанного.
«Яндекс.Браузер» сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно нажать на кнопку «Перевести видео».
- Ранее «Яндекс» добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций для некоторых YouTube-каналов, в том числе TED, Google, Apple, SpaceX.
- В марте 2022 года в «Яндекс Браузере» появились интерактивные субтитры к видео на английском, французском, немецком и испанском языках. Компания также добавила опцию подсветки по словам — кликнув на неизвестное слово, пользователь получит мгновенный перевод.
Фото на обложке: Unsplash
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 «Яндекс» обновил технологию фотоперевода с помощью нейросетей
- 2 В «Яндекс Браузере» появился текстовый редактор на базе нейросети YandexGPT
- 3 YouTube прекратил воспроизводить видео в высоком качестве — ТАСС
- 4 «Яндекс» добавил генерацию изображений в интерфейс своего браузера и перевод видео с японского и корейского
- 5 Нейросеть «Яндекс.Браузера» начала переводить любые YouTube-трансляции с пяти языков
ВОЗМОЖНОСТИ
14 октября 2024
14 октября 2024
14 октября 2024