«Сбер» представил нейросеть Kandinsky Video — это генеративная модель для создания полноценных видеороликов по текстовому описанию. Об этом говорится в сообщении компании.
Модель способна сгенерировать видеоряд длительностью до восьми секунд с частотой 30 кадров в секунду. Разрешение видео составит 512 х 512 пикселей. Генерация займет до трех минут.
В архитектуре Kandinsky Video два ключевых блока: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, второй — за генерацию интерполяционных кадров, которые отвечают за плавность движений в готовом видео.
Сгенерированное видео — это непрерывная сцена с движением как объекта, так и фона. Это является ключевым отличием видеороликов, синтезированных Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счет моделирования пролета камеры относительно статичной сцены.
Работа Kandinsky Video
Модель обучена на датасете из более чем 300 тыс. пар «текст — видео». В основе двух блоков архитектуры Kandinsky Video — новая модель синтеза изображений по текстовым описаниям Kandinsky 3.0.
«Сбер» представил Kandinsky 3.0 22 ноября. Компания усовершенствовала нейросеть: в сравнении с предыдущими версиями она лучше понимает текстовый запрос пользователя, умеет создавать более фотореалистичные изображения, генерировать полноценные художественные картины и арты со скетчами.
Работа Kandinsky 3.0
Изображения: «Сбер»
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 AI для HR: профиль кандидата, который повысит скорость найма в два раза
- 2 Эволюция ML-сервисов в микрофинансовых организациях и советы по внедрению
- 3 Машины не восстанут, но вылететь с работы можно: разбираемся, зачем осваивать нейросети
- 4 Мнение эксперта: Игорь Пивоваров о том, что происходит с OpenAI
- 5 «Доверять нельзя бояться». Как работают нейросети в беспилотных автомобилях
ВОЗМОЖНОСТИ
18 мая 2024
19 мая 2024
19 мая 2024