Стартап BabelOn анонсировал перевод речи в реальном времени с сохранением голоса пользователя

На первом этапе работать это будет так: пользователь приезжает в студию BabelOn в Сан-Франциско, где его голос в течение дня записывают на специальном устройстве без микрофонов, но с маломощным радаром, направленным на челюсть и голосовые связки.

Анализ больших данных и машинное обучение затем позволяют создать цифровой слепок голоса и мимики (B.L.I.P.), который можно использовать для синтезирования речевого перевода вместе с лицевой анимацией. Чтобы защитить технологию от использования в мошеннических целях, все B.L.I.P. будут храниться в зашифрованном офлайн-хранилище, обещают в компании.

Технология уже «полностью исследована и запатентована», уверяют в стартапе, однако требует доработки: сейчас весь процесс с момента создания B.L.I.P до возможности перевода с учетом интонаций, особенностей голосовых связок и мимики занимает от пары недель до нескольких месяцев, отмечает издание Endgadget.

На странице BabelOn на Indiegogo также можно узнать вероятные цены на услуги компании: для получения B.L.I.P. бэкеру придется пожертвовать $5 тысяч, за перевод песни на один иностранный язык с сохранением голоса – $50 тысяч, а на семь иностранных языков – $250 тысяч.

В компании не скрывают, что на первом этапе собираются сотрудничать с игровым, музыкальным и кинобизнесом для локализации игр и фильмов (включая синхронизацию движения губ персонажей) и перевода песен, а услуги для рядовых потребителей (к примеру, установить собственный голос в Siri) могут появиться потом – вместе с сокращением временных затрат на весь процесс до реального времени.

Есть и другие ограничения: сейчас стартап планирует работать в основном с английским, русским, французским, испанским, итальянским, немецким, португальским, севернокитайским (мандаринским), японским, корейским и арабским языками, а также хинди. Добавлять другие языки в компании планируют в зависимости от спроса.

На данный момент клиентов у компании нет. Разработать прототип в BabelOn рассчитывают через шесть месяцев, а доработать его до перевода в реальном времени – в течение трех лет. Прямых конкурентов у стартапа нет, однако перевод речи в реальном времени, к примеру, есть в сервисе Skype. Также недавно был представлен сервис для имитации любого голоса на базе одной минуты речи.