«ВКонтакте» запустила автоматические субтитры на базе собственных технологий распознавания речи

Новая технология способна автоматически сгенерировать текст, расставить знаки препинания и заглавные буквы, распределить текст по кадрам и проследить за точностью появления субтитра в момент произнесения фразы. 

Отличие технологии от существующих решений на рынке — способность проставлять в субтитрах знаки препинания и заглавные буквы. Разработчики уверяют, что в ближайшем будущем технология будет способа разделять речь спикеров на разные реплики. Все это должно повысить понятность расшифровки и упростить чтение во время просмотра видео.

Соцсеть ведет тестирование и дообучение новой технологии: субтитры в экспериментальном режиме уже доступны части аудитории в популярных роликах и видео из верифицированных сообществ в веб-версии и мобильном приложении «ВКонтакте».

Как работает технология

Для обеспечения высокого качества расшифровки субтитров аудиопоток проходит четыре этапа обработки. Для начала запись очищается от фоновых звуков с помощью технологии интеллектуального шумоподавления — это позволяет лучше определять речь не только на профессиональных видео, но и на любительских роликах. 

Затем нейросеть распознает слова и формирует из них текст. На третьем этапе подключается пунктуационная модель, которая расставляет знаки препинания и заглавные буквы. 

Эти решения «ВКонтакте» ранее применила для распознавания аудиосообщений, а для работы с видео к ним добавили еще один шаг: методы машинного обучения распределяют текст по кадрам, таким образом фраза появляется точно в момент, когда говорящий ее произносит. 

Подписывайтесь на наш TG-канал, чтобы быть в курсе всех новостей и событий!

Фото: «ВКонтакте»