Колонки

Не просто виртуальная примерка: как создать AR-приложение с анализом индивидуальных параметров лица

Колонки
Артём Наконечный
Артём Наконечный

CEO компании Lookinar

Ольга Лисина

Иногда задачи, которые кажутся простыми на первый взгляд, таят в себе серьёзные подводные камни. Артём Наконечный, CEO компании Lookinar, рассказывает, как удалось справиться с одним из таких вызовов и создать решение для виртуальной примерки очков с учётом индивидуальных параметров лица. 

Не просто виртуальная примерка: как создать AR-приложение с анализом индивидуальных параметров лица

Мы давно занимаемся разработкой решений на основе технологий дополненной и виртуальной реальности, поэтому когда в сентябре 2019 года к нам поступил запрос на создание AR-приложения для примерки очков, мы не увидели никаких сложностей и без задней мысли предложили свои услуги.

Задача казалась стандартной: делаем приложение, добавляем модуль дополненной реальности, создаем 3D-модели, идентифицируем лицо, объединяем всё воедино и публикуем. Дальше — принятие работ, миллионные скачивания, довольный заказчик, слава и много денег (обычные мысли разработчиков). 

Подводные камни

Мы сделали просчёт и отправили заказчику, после чего он внёс в задачу маленький, на первый взгляд, нюанс — приложение должно собирать параметры лица пользователя (глубину посадки глаз, расстояние между заданными точками на лице и т.д.). 

«Зачем всё это делать?» — пронеслось у нас в голове. Ведь достаточно просто объяснить приложению, где лицо пользователя — с помощью базовых плагинов можно автоматически определить глаза, брови и другие части лица, и очки красиво встанут там, где они и должны быть.

Так работает Spark AR и большинство плагинов и библиотек. Никто не собирает параметры лица. 

Последние новости, актуальные события и нетворкинг в AgroTech-комьюнити — AgroCode Hub. Присоединяйся!

Но заказчиком была немецкая компания Headrix, которая создаёт персонализированные оправы и очки, соответствующие индивидуальным параметрам лица клиента. Компании удалось наладить автоматизированное производство индивидуальных персонализированных очков по доступным ценам, но оставалась сложность в том, чтобы показать покупателю, как на нём будут сидеть его будущие очки, учитывающие все необходимые особенности. 

Headrix общались с несколькими компаниями из Канады, Индии и России, и все потенциальные разработчики заявляли (наивно), что они легко и просто это реализуют. Но мы уже знали про маленький «нюанс» и не были так уверены. 

Анализ параметров лица — это не только программная часть. Это, в первую очередь, камера, которая способна давать глубину и высчитывать её. 

Подобное решение на тот момент предоставляли Apple в iPhone X и флагманские Android-смартфоны, при этом инструменты для работы с глубиной камеры у каждого были свои, то есть надо было отдельно разработать решение под iOS и отдельно по Android. 

Бесплатный MVP как конкурентное преимущество

Проанализировав ситуацию, мы решили остановить выбор на Apple, сократив возможности запуска приложения на телефонах iPhone X и новее, а также на схожей линейке планшетов.

Таким образом, задача приложения заключалась в анализе параметров лица пользователя, передаче этих параметров производителю и выводе на экран 3D-моделей очков, видоизмененных согласно индивидуальным особенностям пользователя. Проект казался сложным, было много неясных вопросов, помощи ждать было неоткуда, и мы решили сделать всё возможное, чтобы получить этот заказ. 

Уже на тот момент мы проигрывали по стоимости и срокам разработки другим компаниям, поэтому решили пойти вабанк и предложили разработать MVP за свой счёт, чтобы продемонстрировать свои возможности, не обещая золотых гор.

Идея с бесплатным MVP понравилась заказчику — конкуренты остались за бортом, а мы приступили к бессонным, но радостным ночам разработки.

Что могло пойти не так?  

Первые недели всё было по плану. Мы исследовали разные подходы и технологии и еженедельно показывали полученный результат. Но за две недели до Нового года Headrix попросили сделать рабочую версию приложения для показа на выставке в начале января. 

Мы поняли, что не успеем, даже если будем работать по 12 часов в сутки, поэтому пришлось забирать разработчиков с других проектов и с максимальной отдачей переключатся на разработку этого приложения. 

Иногда нам казалось, что это бессмысленно и мы всё равно не успеем, но благодаря сплочённой работе команды и оперативному общению с заказчиком 24/7 нам удалось выпустить первую рабочую версию приложения 6 января, за несколько дней до выставки.


 


На выставке наш заказчик получил множество восторженных отзывов о работе приложения, но был один момент, который оказался, мягко говоря, нелепым. Наше выставочное приложение работало просто: стоял большой планшет, посетители смотрели в него, приложение отслеживало лицо и воспроизводило поверх лица 3D-модель очков. 

Казалось бы, что может пойти не так? Ничего, если не брать во внимание целевую аудиторию Headrix — компании по производству очков для зрения. 

Посетители подходили к планшету с установленным приложением, смотрели в своих реальных очках в камеру планшета, видели, как им добавлялись вторые очки, понимали, что надо что-то менять, снимали свои очки… и ничего не видели.

Та-дам! Приложение для примерки очков для зрения работает только с теми, у кого хорошее зрение. Занавес. 

В такие моменты понимаешь, почему существуют миллионы проектов, которые, согласно идеям создателей, должны захватить мир, а по факту рушатся, как карточный домик, в первом же испытании рынком.

Работа над ошибками и новые возможности

Возникшую проблему мы устранили путём добавления функции фото и видеозаписи (большая кнопка, которую сложно не заметить). Теперь пользователь мог записать 5-секундное видео, которое потом циклично повторялось, предоставляя возможность вдоволь насмотреться на себя любимого в новеньких очках. 

Дальше было много работы по адаптации и улучшению существующего приложения. Были добавлены карты, личный кабинет, календарь назначения встречи с оптиками, дополнительные функции по нанесению гравировки на очки. 


Таким образом, из небольшой идеи по оценке параметров лица приложение превратилось в полноценную торговую площадку, где можно смотреть, сравнивать и заказывать очки без дополнительного посещения магазина.

На данный момент приложение опубликовано на AppStore и готовится масштабная рекламная кампания для продвижения проекта. А наша компания продолжает работу над совершенствованием и расширением возможностей.

Как получить максимум

Тем, кто планирует запускать проекты в сфере AR, я могу дать три совета:

  1. Определитесь с целью и целевой аудиторией
    Банально, но очень эффективно. Не понимая, для кого и зачем вы это делаете и какую задачу должны решить, вы не создадите крутой проект.
  2. Проводите проверку рынком как можно раньше
    Может оказаться, что вы не учли часть очень важных моментов для вашей целевой аудитории.
  3. Верьте в свой продукт
    На вашем пути будут сложности, и только вера в свой продукт поможет их преодолеть. 

Фото на обложке: Shutterstock / goffkein.pro

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Как создать маску в инстаграме: подробная инструкция
  2. 2 Индустриальный AR: как корпорации используют дополненную реальность
  3. 3 «Любой AR-проект завязан на (суровую) реальность»: что необходимо учесть перед его разработкой
FutureFood
Кто производит «альтернативную» еду
Карта