Маска, которая превращает в героя комиксов: как ИИ помогает делать спецэффекты для видео

Зачем ИИ приложениям для коротких видеороликов

В конкурентной среде рынка приложениям для создания коротких видеороликов приходится постоянно совершенствовать пользовательский опыт. Такие платформы обрастают дополнительными entertainment-опциями, онлайн-играми и функциями e-commerce, а также пополняют коллекции привычных функций для редактирования роликов.

На помощь приходят инновационные технологии, которые позволяют делать необычные спецэффекты, маски и стикеры еще более впечатляющими, кастомизированными и реалистичными — а еще более экономичными в разработке.

Мы разработали технологию на основе ИИ, которая меняет образ человека прямо во время записи ролика, отслеживая и сохраняя уникальные черты его лица и мимику даже в движении. Стилизация может быть любой, но для начала мы предложили пользователям жанр поп-арт — примерить его на себя можно благодаря трем новым спецэффектам из серии ComicBeats.

Использование ИИ при разработке спецэффектов не только повышает лояльность пользователей, предоставляя конкурентное преимущество по сравнению с другими приложениями, но и значительно сокращает время и экономит затраты на их создание.

Благодаря машинному обучению — применению генеративных моделей — разработка фильтра с нуля заняла всего восемь недель, а на создание алгоритмов ушел один месяц. Важно отметить, что фундамент для создания этой технологии мы закладывали значительно дольше.

Unsplash

Как разрабатывались алгоритмы ИИ

Команда разработчиков состояла из 15 специалистов, которые отвечали за работу нейронного процессора, типовые процессы машинного обучения, инженерного проектирования, и других профессионалов. Перед инженерами стояли три основные задачи:

1. Научить нейронные сети создавать фото и видео персонажей в стиле комиксов, сохраняя уникальные черты авторов роликов.
2. Запустить обученную нейронную сеть на мобильных устройствах.
3. Совершенствовать технологию для обеспечения быстрого реагирования и предоставления лучшего пользовательского опыта.
   
   

С какими вызовами столкнулась команда в процессе разработки

Команде предстояло решить вопрос, в каких пропорциях совмещать эстетику комиксов с уникальными чертами и мимикой пользователей. Ответ на него был очевиден, ведь слоган и миссия Likee — позволить каждому пользователю раскрыться и блистать. Технология делает акцент на индивидуальных характеристиках авторов видео, подчеркивая и дополняя их образ элементами стиля поп-арт и оживляя их мимику во время смены спецэффектов.

Более серьезным вызовом стала адаптация алгоритма для работы с разными людьми. На ранних этапах обучения у ИИ обнаружилось много багов, связанных с внешностью: например, он не мог определить пол пользователя и девушкам подрисовывал усы, а губы мужчин красил ярко-красной помадой. Однако чем больше моделей генерировала нейросеть, тем лучше понимала, кто перед ней и как лучше преобразить этого человека в героя комикса.

Финальная версия ИИ прекрасно распознает пользователей со всего мира с разными чертами лица, мимикой, цветом кожи, вне зависимости от используемого ими мобильного устройства.

Как система работает на разных смартфонах

Наша приоритетная задача — улучшить пользовательский опыт для этих людей вне зависимости от того, какую модель телефона они используют. Поэтому мы начали работу по оптимизации системы ИИ: тестировали более 50 моделей нейросетей в день, компрессировали их так, чтобы не терялось слишком много деталей эффектов и проверяли на мобильных телефонах.

Мы разделили все мобильные устройства на шесть уровней в зависимости от производительности. Финальная версия ИИ работает так, что даже на сравнительно слабых по мощности телефонах последних двух уровней эффекты можно опробовать на скорости пять кадров в секунду.

Как обучали искусственный интеллект

Обучали систему в несколько этапов. Сначала системе показали отобранные вручную 100 тысяч примеров американских комиксов — от Золотого века до современности. Первой задачей ИИ стала категоризация их по жанрам и поджанрам, чтобы выяснить, какие у них есть общие элементы. Он определил, что у всех документов такими элементами были точки Ben-Day и вольные мазки кистью. Задействуя их, ИИ может создавать бесконечное количество собственных изображений и видео, основываясь на том, что видит камера.

Чтобы система вовремя включалась, выключалась и следила за человеком в кадре, ей подключили компьютерное зрение.

Unsplash

Чего Likee удалось добиться благодаря ИИ

1. Быстрой работы движка при использовании эффекта для создания мультимедиа-контента высокого качества. Эффективность нейронного процессора повышается благодаря использованию каскадных нейронных сетей, которые сразу анализируют и изначальные данные, и новый результат вычислений.
2. Индивидуализации. ИИ обеспечивает разнообразие результатов (технология создала более 500 тыс. шаблонов) и обходит обычные преграды, с которыми не могут справиться рядовые спецэффекты (например, преображение пользователя, который носит очки).
3. Удобства в использовании. Разработчики приложили много усилий для адаптирования нейронных сетей для разных типов мобильных устройств. Пользовательский интерфейс и система управления жестами выполнены просто и элегантно.
4. Новых возможностей для брендов. Теперь создавать кастомизированные маски и эффекты для рекламных кампаний стало проще.
   
   

Что дальше

Мы надеемся, что эта технология станет стандартом индустрии. ИИ можно использовать для создания эффектов в других стилях. Например, если появится желание придумать маску на мотив мультфильма про крокодила Гену, нужно будет только обучить систему — и этот процесс будет осуществлен гораздо быстрее.

Работа над ИИ будет продолжаться: со временем может появиться, например, возможность распознавания второго лица в кадре.

Фото на обложке: Shutterstock/squaredot_art