«Сбер» представил третью модель нейросети Kandinsky

Новая генеративная модель может за несколько секунд создавать высококачественные изображения по их текстовому описанию на естественном языке, сообщил RB.RU представитель «Сбера».

Она также может смешивать несколько рисунков, изменять их по текстовому описанию, генерировать изображения, похожие на заданное, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна (inpainting/outpainting).

Модель распознает запросы на 101 языке (включая русский и английский) и умеет рисовать в различных стилях.

Kandinsky 2.1 унаследовала веса предыдущей версии, которая была обучена на 1 млрд пар «текст — изображение», и прошла дополнительное обучение на 170 млн пар «текст — изображение» высокого разрешения. Также она учла отдельно собранный датасет из 2 млн пар картинкок с описаниями в традиционно сложных для нейросетей областях — тексты и лица людей.

Изображения Kandinsky 2.0 и Kandinsky 2.1

Новая версия Kandinsky 2.1 содержит 3,3 млрд параметров вместо 2 млрд в Kandinsky 2.0 и использует не только закодированное текстовое описание, но и специальное представление изображения моделью CLIP. В таком виде нейросеть формирует представление картинки на основе текстовой информации и подает его на вход основной генеративной модели.

• «Сбер» впервые представил модель для генерации изображений по текстовому описанию Kandinsky в июне 2022 года — она представляла собой улучшенную версию уже созданной нейросети ruDALL-E.
• В ноябре того же года «Сбер» представил усовершенствованную мультиязычную модель Kandinsky 2.0, которая работала с 2 млрд параметров и позволяла создавать картинки в 20 разных стилях, например, ренессансе, классицизме, хохломе.

Фото на обложке: Potashev Aleksandr / Shutterstock