Дипфейк-аватары от Synthesia получат полноценные тела

«Это очень впечатляет. Никто другой не способен на это», — комментирует Джек Сондерс, исследователь из Университета Бата, который не принимал участия в работе Synthesia.

По его словам, аватары в полный рост, которые он успел посмотреть, очень хороши, несмотря на небольшие ошибки, например, руки иногда проходят друг через друга. Но «скорее всего, вы не будете смотреть настолько внимательно, чтобы это заметить», — говорит Сондерс.

Читайте по теме:

Эти модели не участвуют в съемках — они продают свои фото, созданные ИИ

Цифровые клоны: новое слово в клиентском сервисе

В апреле Synthesia выпустила свою первую версию гиперреалистичных ИИ-аватаров — дипфейков. Они используют большие языковые модели, чтобы выражения лица и тон голоса соответствовали содержанию текста, который они произносят. Внешний вид аватара генерируют диффузионные модели, которые применяются в системах ИИ для создания изображений и видео. Однако аватары этого поколения отображаются только выше пояса, что может сказаться на их реалистичности.

Для создания полнотелых аватаров Synthesia разрабатывает еще более масштабную модель искусственного интеллекта. Пользователям придется отправиться в студию, чтобы записать свои телодвижения. Но прежде чем аватары в полный рост станут доступны, выйдет еще одна версия, с руками и возможностью записи с разных ракурсов. Их предшественники были доступны только в портретном режиме и были видны только спереди.

Другие стартапы, такие как Hour One, запустили аналогичные аватары с руками. Версия Synthesia, которая будет выпущена в конце июля, отличается чуть более реалистичными движениями рук и синхронизацией движений губ.

С обновлением создать собственный аватар будет намного проще: если ранее пользователь должен был отправиться на студию и потратить пару часов на запись лица и голоса, новой версии потребуется всего 10 минут материалов, а из оборудования — цифровая камера, портативный микрофон и ноутбук. Но в целом камеры ноутбука будет достаточно.

И если раньше приходилось записывать движения лица и голос отдельно, то на этот раз данные собираются одновременно. Понадобится также прочесть текст, выражающий согласие на запись, и случайно сгенерированный пароль безопасности.

По словам CEO компании Виктора Рипарбелли, эти изменения предоставлят моделям ИИ, обеспечивающим работу аватаров, больше возможностей при меньшем объеме данных. А еще они ускоряют процесс: если ранее нужно было ждать несколько недель, теперь аватар готов уже на следующий день.

Скриншот: Synthesia

Самодельные аватары пока не так выразительны, как студийные, и пользователь не сможет заменить на них фон, говорит Александру Войка, глава отдела корпоративных отношений и политики Synthesia. Анимация рук выполняется при помощи зацикливания, то есть одни и те же движения рук повторяются в соответствии с содержанием сценария.

В марте Витторио Феррари, научный директор Synthesia, рассказал, что ИИ сложно справляться с руками — даже сложнее, чем с лицами. Это связано с тем, что во время разговора губы движутся не так сильно и в целом предсказуемо, что позволяет синхронизировать дипфейк с речью.

Однако жесты рук могут быть очень разными. С другой стороны, лица требуют пристального внимания к деталям, ведь наше внимание сосредоточено на них, а то, насколько правдоподобно движутся руки, не столь критично.

Пусть и несовершенные, руки и тела от ИИ усиливают реалистичность аватара, что в эпоху дипфейков и дезинформации создает дополнительные риски. В Synthesia действует строгая политика модерации контента: проверяются как клиенты, так и тип контента, который они могут создавать. Например, новостной контент могут создавать только аккредитованные новостные агентства.

Читайте по теме:

Как бигтех инвестирует в ИИ

ИИ-аватары от Synthesia могут передавать человеческие эмоции

«Эти новые достижения в области технологий создания аватаров — еще один удар по нашей способности верить в то, что мы видим в интернете», — говорит Сондерс.

«Люди должны знать, что ничему нельзя доверять, — говорит он. — Synthesia делает это сейчас, а через год то же самое будут делать и другие компании».

Источник.

Фото на обложке: Synthesia