Для чего нужна анимированная модель Тома Хэнкса?

Учёные в университете Вашингтона отобрали в Сети около 200 фотографий актёра с разными выражениями лица и использовали их для создания цифровой модели Тома Хэнкса, которая может «говорить то, чего реальный актёр никогда не произносил».

Новая технология, которую учёные представят в этом месяце в исследовании под названием «Что заставляет Тома Хэнкса выглядеть как Том Хэнкс» на Международной конференции машинного распознавания образов в Чили, не ограничивается только личностью актера. Исследователи сообщили, что возможность использовать «неструктурированные коллекции фотографий» поможет применить эту технологию к широкому кругу людей. Тем не менее у знаменитостей вроде Хэнкса  больше шансов на успех, поскольку в открытом доступе в интернете можно найти множество их фотографий.

С помощью Google Image учёные нашли фотографии актера в разном возрасте с всевозможными выражениями лица. Эти фото использовали для создания цифровой куклы, которая представляет собой 3D-модель лица Хэнкса с характерной для него мимикой. Затем наложили на неё текстурные слои, чтобы эмоции изменялись, словно в жизни. Например, когда он говорит, улыбается или хмурится.

Получаются безумные вещи, когда для озвучки куклы Хэнкса учёные используют случайное видео с YouTube. В результате актёр произносит речь, которую никогда не произносил, но в характерном для него стиле.

Суваджанакорн объясняет, что на создание одного кадра видео уходит 1-2 минуты, но зато им не приходится вручную управлять цифровой куклой. «Всё происходит автоматически. Куклой управляет заданный видеоряд (последовательность фото)», — пишет ученый.

Читайте по теме: Как построить бизнес на 3D-ядре

В целом, это значительный шаг вперёд по сравнению с традиционными способами анимации лица с обязательным участием живого человека. Для этого проекта сам Хэнкс не понадобился. Теоретически любого человека с достаточным количеством визуальной информации в Сети можно анимировать и заставить произносить любые слова.

Учёные сообщили Mashable, что идея анализа видео возникла из работы по «Полной реконструкции лица», которую команда проделала в прошлом году. Когда программа определяет типичные выражения лица, тогда из них создаётся модель Хэнкса.

Как учёные используют изображения Тома Хэнкса и Джорджа Буша, чтобы кукла Тома Хэнкса произносила слова бывшего президента США.

Учёные отмечают, что они могут наложить речь одного актёра на другого. Однако поскольку из-за того, что они полагаются на мимику последнего, видео выглядит так, как будто говорит кукла, а не человек. Например, когда Хэнкс озвучивает речь Джона Белуши в «Зверинце».

Эти модели можно использовать в более прозаичных целях. Например, для общения с дальними родственниками в виртуальной реальности. Пока вы болтаете с ними по телефону, то вы видите их анимированную говорящую версию в шлеме Samsung Gear VR (Samsung, наряду с Intel и Google помог в финансировании этого исследования).