Сбер открыл доступ к нейросети Kandinsky Avatar 1.0 — ИИ используют для генерации реалистичных говорящих персонажей
ИИ генерирует ролики длиной до минуты, оживляет людей и мультперсонажей, а также синхронизирует движения губ с речью
3 минуты
Сбер открыл доступ к Kandinsky Avatar 1.0 — семейству нейросетей для создания говорящих видеоаватаров по фотографии и записи голоса. Модели генерируют ролики продолжительностью до одной минуты с частотой 24 кадра в секунду, рассказали Russian Business в компании. Технология синхронизирует движения губ с речью, самостоятельно добавляет мимику, повороты головы и жесты. Разработчики могут бесплатно скачать код и веса моделей и использовать их в собственных проектах, в том числе коммерческих.
Модели доступны на GitHub и Hugging Face
Код и веса Kandinsky Avatar 1.0 опубликованы под открытой лицензией MIT, рассказали в Сбере. Разработчики могут скачать материалы на GitHub, GitVerse и Hugging Face. Лицензия дает возможность использовать технологию в коммерческих продуктах.
Интеграцию также планируют поддержать популярные инструменты для работы со сторонними нейросетями. Сбер собирается внедрить видеоаватары и в собственные сервисы.
Для создания ролика пользователю понадобятся фотография, аудиозапись и короткое текстовое описание сцены. Нейросеть самостоятельно формирует движения персонажа и подстраивает артикуляцию под переданную речь.
Эмоциональное состояние аватара можно задать текстовой командой. Например, персонажа получится заставить выражать радость, грусть или злость. Технология поддерживает разные языки: речь воспроизводится на языке исходной аудиозаписи.
При этом Kandinsky Avatar не генерирует и не клонирует голос. Для создания видео необходимо самостоятельно предоставить изображение и звуковую дорожку, уточнили в Сбере.
Нейросеть подходит для обучения, рекламы и видеоигр
На базе Kandinsky Avatar 1.0 разработчики смогут создавать несколько типов продуктов:
- Сервисы для блогеров. Авторы смогут подготовить сценарий, записать голос и получить видео с виртуальным ведущим.
- Образовательные платформы. Нейросеть позволит создавать видеоуроки и онлайн-курсы с цифровыми преподавателями.
- Виртуальные консультанты. Компании смогут внедрять говорящих персонажей для общения с клиентами.
- Сервисы локализации. Технологию можно использовать для перевода видео на другие языки с синхронизацией артикуляции.
- Игры и анимация. Разработчики смогут добавлять говорящих персонажей, включая животных и мультгероев.
- Персональные аватары. На основе технологии получится создавать видеооткрытки и личные обращения.
«Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля», — заявил управляющий директор по исследованию данных Сбербанка Денис Димитров.
Денис Димитров также отметил, что компания рассчитывает получить обратную связь от разработчиков и использовать её при совершенствовании следующих версий Kandinsky.
Kandinsky Avatar выпустили в двух версиях
Нейросеть разработали на базе модели генерации видео Kandinsky 5.0 Video. Разработчикам доступны две версии технологии — Pro и Lite.
- Pro создаёт видео в HD-разрешении. По результатам внутренних сравнений Сбера, версия показывает качество на уровне коммерческого сервиса HeyGen и превосходит протестированные открытые аналоги.
- Lite рассчитана на менее мощное оборудование. Модель можно запустить на домашней видеокарте, однако ролики будут создаваться в SD-разрешении.
Для обучения семейства моделей использовали более миллиона видеофрагментов. В выборку вошли интервью, выступления и подкасты на 95 языках, включая русский, английский, казахский, испанский и французский, уточнили в Сбере.