Автоматические субтитры на русском языке стали доступны в обновленном видеоплеере «ВКонтакте», говорится в сообщении компании. Они работают на базе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения единой видеоплатформы и технологий интеллектуального шумоподавления единой платформы видеозвонков.
Новая технология способна автоматически сгенерировать текст, расставить знаки препинания и заглавные буквы, распределить текст по кадрам и проследить за точностью появления субтитра в момент произнесения фразы.
Отличие технологии от существующих решений на рынке — способность проставлять в субтитрах знаки препинания и заглавные буквы. Разработчики уверяют, что в ближайшем будущем технология будет способа разделять речь спикеров на разные реплики. Все это должно повысить понятность расшифровки и упростить чтение во время просмотра видео.
Соцсеть ведет тестирование и дообучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».
Как работает технология
Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Для начала запись очищается от фоновых звуков с помощью технологии интеллектуального шумоподавления — это позволяет лучше определять речь не только на профессиональных видео, но и на любительских роликах.
Затем нейросеть распознает слова и формирует из них текст. На третьем этапе подключается пунктуационная модель, которая расставляет знаки препинания и заглавные буквы.
Эти решения «ВКонтакте» ранее применила для распознавания аудиосообщений, а для работы с видео к ним добавили еще один шаг: методы машинного обучения распределяют текст по кадрам, таким образом фраза появляется точно в момент, когда говорящий ее произносит.
Подписывайтесь на наш TG-канал, чтобы быть в курсе всех новостей и событий!
Фото: «ВКонтакте»
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 Мнение эксперта: Игорь Пивоваров о том, что происходит с OpenAI
- 2 «Доверять нельзя бояться». Как работают нейросети в беспилотных автомобилях
- 3 От секретаря до бухгалтера: как NLP помогает сокращать издержки бизнеса
- 4 Стартовал ИИ-буткемп для школьников и студентов
- 5 3 задачи по ML, чтобы подготовиться к собеседованию на Junior Data Scientist
ВОЗМОЖНОСТИ
30 ноября 2023
30 ноября 2023
30 ноября 2023