Top.Mail.Ru
Новости

«Сбер» представил третью модель нейросети Kandinsky

Новости
Анастасия Марьина
Анастасия Марьина

Глава отдела новостей RB.RU

Анастасия Марьина

«Сбер» представил третье обновление модели для генерации изображений по текстовому описанию — Kandinsky 2.1.

«Сбер» представил третью модель нейросети Kandinsky
  1. Новости
Автор: Анастасия Марьина

Новая генеративная модель может за несколько секунд создавать высококачественные изображения по их текстовому описанию на естественном языке, сообщил RB.RU представитель «Сбера».

Она также может смешивать несколько рисунков, изменять их по текстовому описанию, генерировать изображения, похожие на заданное, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна (inpainting/outpainting).

Модель распознает запросы на 101 языке (включая русский и английский) и умеет рисовать в различных стилях.

Kandinsky 2.1 унаследовала веса предыдущей версии, которая была обучена на 1 млрд пар «текст — изображение», и прошла дополнительное обучение на 170 млн пар «текст — изображение» высокого разрешения. Также она учла отдельно собранный датасет из 2 млн пар картинкок с описаниями в традиционно сложных для нейросетей областях — тексты и лица людей.

Изображения Kandinsky 2.0 и Kandinsky 2.1

Новая версия Kandinsky 2.1 содержит 3,3 млрд параметров вместо 2 млрд в Kandinsky 2.0 и использует не только закодированное текстовое описание, но и специальное представление изображения моделью CLIP. В таком виде нейросеть формирует представление картинки на основе текстовой информации и подает его на вход основной генеративной модели.

  • «Сбер» впервые представил модель для генерации изображений по текстовому описанию Kandinsky в июне 2022 года — она представляла собой улучшенную версию уже созданной нейросети ruDALL-E.
  • В ноябре того же года «Сбер» представил усовершенствованную мультиязычную модель Kandinsky 2.0, которая работала с 2 млрд параметров и позволяла создавать картинки в 20 разных стилях, например, ренессансе, классицизме, хохломе.

Фото на обложке: Potashev Aleksandr / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 AI для HR: профиль кандидата, который повысит скорость найма в два раза
  2. 2 Эволюция ML-сервисов в микрофинансовых организациях и советы по внедрению
  3. 3 Машины не восстанут, но вылететь с работы можно: разбираемся, зачем осваивать нейросети
  4. 4 Мнение эксперта: Игорь Пивоваров о том, что происходит с OpenAI
  5. 5 «Доверять нельзя бояться». Как работают нейросети в беспилотных автомобилях
FutureFood
Кто производит «альтернативную» еду
Карта