Колонки

«Любой AR-проект завязан на (суровую) реальность»: что необходимо учесть перед его разработкой

Колонки
Максим Каплевич
Максим Каплевич

CEO и основатель Junto

Полина Константинова

Максим Каплевич, CEO и основатель Junto, в колонке дал советы тем, кто хочет создавать приложения с дополненной реальностью, и поделился своим кейсом по разработке.

«Любой AR-проект завязан на (суровую) реальность»: что необходимо учесть перед его разработкой

Что мы сделали

В прошлом году мы запустили два сложных, но невероятно интересных AR-проекта: «Тайны метро» и «Москва в кино». Первое — интерактивный квест «Тайны метро» по московской подземке, который позволит найти и «оживить» легендарные достопримечательности станций метрополитена.

Второе приложение, «Москва в кино», навеяно знаковой фотосерией «Окно в прошлое», где старые черно-белые снимки совмещают с современным контекстом. Мы вместе с Роскино предложили людям в AR найти места в Москве, где происходили съемки легендарных советских фильмов, и объединить их с кадрами из кино.

В плане технологий каждое из приложений оказалось настоящим вызовом. В метро не работает геолокация, постоянно случаются проблемы с освещением (его или слишком много, или мало для камеры смартфона), и сложно с текстовыми ориентирами.

С приложением «Москва в кино» проблемы были другого плана: то нужный нам объект был затянут строительными лесами, то московская погода менялась так, что было трудно даже распознать здания.

В этом тексте мы хотели бы собрать свой опыт AR-разработки и выделить основные советы всем, кто хочет попробовать свои силы в приложениях с дополненной реальностью.

В рамках проекта «Привет, Москва!» мы ищем новые варианты взаимодействия метро с людьми. Мы хотели напомнить о том, что метро — это настоящий музей под землей, где каждая станция наполнена тайнами, красотой и интересными фактами.

Проект AR-приложения для нас был экспериментом. Но благодаря уникальной механике и действительно потрясающему объекту (Московскому метрополитену), на котором она реализована, после запуска приложения «Тайны метро» мы получили множество публикаций в СМИ и тысячи постоянных пользователей.

Культурные институции часто боятся пробовать новые форматы, но в случае с квестами с дополненной реальностью мы увидели, что именно такие нестандартные механики работают как нельзя лучше.

Куратор проекта «Привет, Москва!» Оксана Бондаренко

Наймите команду скаутов (и придумайте, как ими управлять)

Любой AR-проект завязан на (суровую) реальность. Поэтому вам потребуется целая команда людей «в полях» — тех, кто сможет делать фотографии, проверять работоспособность AR на реальных объектах и тестировать новые сборки приложения.

Чтобы набрать достаточное количество исполнителей, прописать им регламенты работы и продумать систему мотивации, вероятно, вам придется нанять еще и отдельного «менеджера скаутов».

В случае с «Тайнами метро» мы одновременно координировали более 10 человек «в полях», которые в режиме онлайн предоставляли команде проекта фотографии локаций, проверяли, подойдут ли они для AR, а если нет — то быстро придумывали и обсуждали вариант замены.

Такие люди должны быть на связи сразу и с командой разработки, и с командой контент-менеджеров: чтобы быстро дорабатывать технические вещи в AR, а в случае проблем оперативно решать вопрос с заменяемым контентом.

Скауты помогут быстро реагировать на изменяющиеся природные условия, ландшафт или изменения интерьера. С ними вы сможете запараллелить разработку так, чтобы она учитывала реальность и вам не пришлось вносить много изменений после релиза приложения.

Готовьтесь к масштабному тестированию

Работая с дополненной реальностью, тестировать придется все: как на этапе подготовки проекта, так и уже после запуска. Простой пример: когда мы делали одну из локаций «Москвы в кино», вначале наш скаут сфотографировал локацию, мы стали работать над ее интеграцией в приложение.

Позже мы увидели, что объект затянули строительными лесами (спасибо скауту). Еще через неделю масштаб стройки увеличился и облик здания стало просто невозможно узнать. От локации пришлось отказаться и вырезать из приложения.

В метро сложностей было не меньше: смена освещения на станции могла привести к тому, что нужный объект будет недостаточно освещен. Или наоборот, лампа будет светить прямо в камеру и не получится навести фокус, чтобы «оживить» картинку.

Мы до сих пор постоянно собираем новые отклики о том, что те или иные объекты в наших AR-приложениях недоступны и вынуждены быстро заменять их. Это не rocket science, но у вас должен быть бюджет на пост-релизную техническую поддержку AR-проекта.

Еще несколько важных деталей для тех, кто хочет создать проект в AR

1. Выбирайте: или использовать AR Kit, или поддерживать старые смартфоны

Увы, хоть инструмент AR Kit невероятно удобен, он поддерживается только iPhone 6s и выше. Плюс, у него есть ограничения по версии iOS. Когда вы целитель в широкую аудиторию, лучше заморочиться и реализовать все через алгоритмы OpenCV (по сути, машинное зрение), чем использовать готовый инструментарий Apple.

Фото: Unsplash

Сила собственного решения еще и в том, что вы можете ее полностью кастомизировать. Если вы видите, что хотите добавить какой-то несложный объект, то для обучения машинного зрения достаточно не более 50 фотографий. Используя кастомную балансировку настроек, мы можем установить достаточный для именно нашего случая уровень погрешности.

Когда приложение видит, что у пользователя совпадает геолокация, а инструменты машинного зрения говорят, что есть вероятность, что на фото «не тот» объект (в разумных пределах), то мы скорее подтвердим, что все верно, чем откажем, — спасибо геолокации. Кастомное решение всегда дает возможность минимизировать ошибки, используя балансировку в настройках.

2. Приложения с AR много весят, и решений практически нет

По меркам мобильных приложений любые AR-квесты много весят, от 200 Мб. Увы, это данность технологии.

Проблема становится особенно критична, когда вы хотите зацепить аудиторию туристов, у которых на счету может быть каждый мегабайт. Но и тут можно применить некоторые лайфхаки.

Например, в одном из наших приложений надо было искать в AR достопримечательности в разных городах мира. Чтобы облегчить дистрибутив, мы использовали геолокацию пользователя или напрямую уточняли, какая страна и город ему нужны (куда он планирует поехать). Только после выбора нужных стран или городов, мы подгружали достопримечательности для AR — и так в разы снизили общий вес приложения.

3. AR — это не слишком быстро

Средний срок разработки AR- приложения — 4-6 месяцев. Вот на что уйдет это время:

  • подготовка, согласование и детализация ТЗ — 1 месяц;
  • разработка (backend, frontend, дизайн) — 2-3 месяца;
  • тестирование и релиз — 1-2 месяца.

Чтобы подготовить адекватное ТЗ, придется прописывать сразу миллион нюансов — и на это нужно время. От контента и локаций, которые будут в квесте, до способов авторизации в приложении и деталей реализации AR.

Дизайн тоже не такая тривиальная задача и технически делится сразу на три:

  • создать и протестировать в сыром виде фреймы (структуру, поля, кнопки),
  • затем работа над брендингом, логотипами и шрифтами,
  • после — объединение первого со вторым.

С разработкой чуть проще и тут процесс выстроен линейно, но из-за AR-составляющей все время приходится делать оглядку на изменения в реальности, которые отслеживают скауты.

Краткий чек-лист: как создать свое приложение в AR

  • Продумайте, как будете работать с людьми «в полях». Таких людей потребуется много, и нужно понимать и как их нанимать, и как ими управлять.
  • Закладывайте больше времени на тесты: в том числе и на доработки уже после релиза.
  • Обсудите с разработчиками, как можно облегчить ваше приложение. Все, что связано с AR, сразу занимает прилично места на смартфоне (а дистрибутив долго скачивается)
  • Если вы хотите использовать AR Kit, забудьте о поддержке старых моделей смартфонов или устаревших iOS. А это немалая доля рынка.
  • Готовьтесь потратить не меньше 4-6 месяцев на разработку.

Материалы по теме:

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Актуальные материалы —
в Telegram-канале @Rusbase

ВОЗМОЖНОСТИ

07 августа 2020

Ipsen Biomed Challenge

08 августа 2020

Цифровые джунгли

09 августа 2020

IT хакатон