Facebook разрабатывает VR-аватары с невероятным уровнем реалистичности

Многие годы мы взаимодействуем с другими в виртуальной реальности посредством аватаров – сгенерированных компьютером персонажей, которые представляют нас. И хотя виртуальное взаимодействие стало более естественным, из-за технических ограничений оно выглядит очень упрощенно.

В эссе «Бессознательное моделирование поведения в обществе» 1927 года антрополог Эдвард Сапир написал, что люди реагируют на жесты «в соответствии со сложным и секретным кодом, который нигде не записан, никто не знает, но понимают все». Спустя 92 года воспроизведение этого сложного кода стало главной миссией директора Oculus Research Pittsburgh Язера Шеика.

Проект, над которым он работает, называется Codec Avatars. Это результат процесса, который использует машинное обучение для сбора и воссоздания мимики человека. До его выхода в общественность еще очень далеко, в лучшем случае – годы.

Источник: Wired

В основе Codec Avatars лежит простая и двойственная теория — аватар должен пройти «проверку эго» и «проверку мамы», то есть вы и ваши близкие должны любить ваш аватар. Процесс создания аватаров очень сложен. Сначала вас отправляют в комнату под названием Mugsy, стены и потолок которой оснащены 132 стандартными объективами Canon, а 350 ламп направлены на стул, стоящий в центре. В Mugsy участники исследования проводят примерно час; они имитируют различные выражения лица и читают вслух разные предложения, пока сотрудник в другой комнате дает им инструкции через веб-камеру. Сожмите челюсть. Расслабьтесь. Покажите все зубы. Расслабьтесь. Втяните щеки, как рыба. Надуйте щеки. В другой комнате – Sociopticon –  камеры фокусируются не только на лице, а на всем теле. Участников просят потрясти руками, попрыгать, сыграть в Крокодила.

Главное – захватить как можно больше информации, чтобы нейронная сеть могла в точности научиться имитировать выражения лица и движения с разных углов. Шеик вместе с командой планируют сканировать не только лицо, но и все тело, однако это случится нескоро.

Источник: Wired

Делать анимацию людей очень сложно. Даже крутые видеоигры не могут в точности воссоздать волосы, глаза, внутреннюю часть рта человека. Но Codec Avatars удалось проделать большой прогресс. Аватары людей в VR выглядят до ужаса реалистично. Конечно, есть небольшие недочеты – например, движение рта иногда не совпадает с темпом речи человека, язык выглядит немного нечетко. Но в целом все это кажется на грани невозможного.

Проект удивительный, но может принести некоторые проблемы. Codec Avatars пока всего лишь исследовательский проект, но он разрабатывается в очень смутное время. Deepfake – ИИ стал настолько мощным, что может создавать изображения лиц из ничего; конфиденциальность данных, дезинформационные кампании и токсичное поведение являются на сегодняшний день реальными проблемами в интернете. А если учесть тот факт, что проектом руководит компания, находившаяся в эпицентре многих этих событий, становится не по себе.

Шеик понимает всеобщее беспокойство. «Подлинность нужна не только для успеха проекта, но и для защиты пользователей. Мы должны выстроить доверие и удерживать его с самого начала», – утверждает он.

Источник: Wired

Codec Avatars представляет собой переход в абсолютно новую фазу ощущений – и все сотрудники компании знают это. Каждый год на конференции для разработчиков Oculus Connect Майкл Абраш выходит на сцену и рассказывает о темпах исследований и инноваций в исследовательских лабораториях компании. Долгое время он пессимистично смотрел на разные достижения в VR. В прошлом октябре, однако, случилось то, чего никто не ожидал. «Я не рассчитываю на то, что через четыре года в VR появится мой реалистичный аватар, но я не отрицаю, что это может произойти», – заявил он.

Журналист Wired Питер Рубин спросил у Шеика, что он думает по поводу заявления Абраша.

«Он прав», – сказал он, попивая свой кофе.

Источник.

Материалы по теме:

Как VR влияет на спортивную индустрию и какие проблемы еще предстоит решить?

Поплавать с акулами не выходя из дома: как VR и AR используются в туризме и ресторанном бизнесе

Дышащие куклы, VR и нейросети-сценаристы — как технологии меняют индустрию кино

Почему VR и AR еще не изменили нашу жизнь? Семь преград для развития технологий