Нейросеть ruDALL-E обучили генерировать картинки по описанию на иностранных языках

По данным «Сбера», за неделю с момента релиза ruDALL-E пользователи по всему миру уже сгенерировали более 3 млн изображений при помощи нейросети, используя для формирования русскоязычных запросов различные системы машинного перевода.

Теперь пользователям стали доступны запросы на английском и других языках. При вводе текста модель самостоятельно определяет язык ввода и генерирует соответствующее изображение. Отправлять запросы можно на 107 языках, говорится на сайте нейросети.

Прототипом для создания ruDALL-E стала нейросеть DALL-E для английского языка, которая была впервые представлена OpenAI в 2021 году. При этом исследователи из американской компании не стали выкладывать модель в открытый доступ, ограничившись общим описанием архитектуры и набором примеров работы модели.

На основе публикации OpenAI команды SberDevices и Sber AI при содействии SberCloud создали аналогичное решение и запустили обучение нейросети на платформе ML Space на базе суперкомпьютера Christofari, получив аналогичный результат для русского языка, а позднее и мультиязычный вариант.

Модель существует в двух вариантах: ruDALL-E XL, содержащая 1,3 млрд параметров, и ruDALL-E XXL с 12 млрд параметров. Возможностями меньшей можно воспользоваться бесплатно, загрузив её с сервиса Github и Hugging Face. Обе модели также можно найти в ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud. Нейросеть был запущена «Сбером» 2 ноября 2021 года.

Предполагается, что большая модель может послужить для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, в то время, как уменьшенный вариант в приложении «Салют» и на демо-сайте призван скорее развлечь пользователей и показать им возможности нейросети.

Подписывайтесь на наш TG-канал, чтобы быть в курсе всех новостей и событий!

Фото на обложке: Pedal to the Stock / Shutterstock