Как работает Inpainting в Midjourney — новая функция для генерации отдельных участков изображений

Популярная нейросеть для генерации изображений MidJourney представила новую функцию Inpainting (Vary Region), которая позволяет изменять отдельные части изображения. Ранее подобный функционал уже присутствовал у конкурентов в лице DALLE и Stable Diffusion. 

Inpainting позволяет создавать интересные результаты, заточенные под конкретные задачи. Например, на генерации с пятью веселыми людьми одного из них можно сделать грустным, просто выделив его лицо и задав соответствующий промт. Ранее пользователи сталкивались с проблемами при попытке объяснить нейросети свою задумку, так как малейшее изменение запроса кардинально меняло изображение. Попробовав новую функцию, рассказываем, как ее включить и использовать на максимум.

Настройки Midjourney / RB.RU

  
Прежде, чем использовать новые возможности Midjourney, необходимо включить режим Remix mode в настройках нейросети. Для этого в чате с ботом нужно ввести команду /setting и выбрать необходимый пункт меню. Если этого не сделать, функция Vary Region будет менять выбранную зону на свой вкус, не давая пользователю возможность изменить промт.

Функция Vary Region в Midjourney / RB.RU
   

Следующий шаг — сгенерировать базовое изображение, которое планируется изменить. После этого под картинкой появится ряд кнопок, среди которых необходимо выбрать Vary (Region).

Интерфейс Vary Region в Midjourney / RB.RU
   

В открывшемся окне пользователь может вручную выделить участок, который необходимо перегенерировать. Сделать это можно как привычным прямоугольным выделением, так и при помощи лассо. После этого необходимо ввести свой промт в появившееся окно ниже. Например, «Plane» или «Smile» — особо сложные запросы нейросеть в этом режиме может не понять, из-за чего результат будет плохо вписан в окружающую картинку. После нажатия кнопки Submit бот выдаст четыре варианта новой картинки, совмещающей в себе предыдущую генерацию и внесенные изменения.

Пример работы Inpainting в Midjourney / RB.RU
  

Опытным путем удалось выяснить, что для более точного результата с минимальным количеством артифактов выделяемая область должна быть чуть больше объекта, который планируется менять. Например, если конечная цель — улыбка на грустном лице, рекомендуется выбрать всю голову персонажа, а не только его рот. Это касается и неживых объектов.

Пример работы Inpainting в Midjourney / RB.RU
 

Еще один нюанс — в отличие от Photoshop Firefly, Inpainting с трудом справляется с предметами, которые находятся в боке. Генерация, продемонстрированная выше, заняла примерно 5 попыток, после чего результат все еще мало походил на первоначальную задумку. В свою очередь, объекты на переднем плане меняются с характерным для Midjourney реализмом и вниманием к деталям. Это стоит учитывать при составлении правильного запроса для нейросети.

Фото на обложке сгенерировала нейросеть Midjourney.