Как Inspector Cloud меняет ритейл с помощью нейросетей

Что такое Inspector Cloud

Наш продукт — это приложение для аудита торговых точек. Оно помогает торговым представителям распознавать товар и создавать отчет, ускоряя визит в 3-4 раза (в зависимости от размера магазина, категории и количества категорий).

Работать с Inspector Cloud просто: сначала мерчандайзер устанавливает на смартфон приложение (оно доступно для Android и iOS), а в магазине фотографирует стеллажи и загружает снимки в программу. Нейросеть в течение 1-3 минут опознает продукт и рассчитывает его базовые показатели. В 95% случаев товар распознается верно.

Фото: Tyler Olson/Shutterstock

Благодаря Inspector Cloud эффективно работать могут даже сотрудники с минимальной квалификацией, незнакомые с ассортиментом заказчика. В приложении есть подсказки и внешний вид товара: это сокращает время визита и упрощает обучение новичков. С приложением можно идти по маршрутам и выполнять все необходимые действия, не зная заказчика в лицо.

За один месяц Inspector Cloud обрабатывает более 40 миллионов изображений. Компания представлена в России, Европе, Латинской Америке и Азии. Общее количество пользователей — 37 тысяч, и мы постоянно подключаем новых. Мы работали с такими производителями, как Nestle, PepsiCo, Unilever, Schwarzkopf, «Чистая линия» и другие.

Как работают нейросети Inspector Cloud

Главная сложность подобных проектов — идентификация: продукты одной категории часто очень похожи и нужно понять, какой именно перед нами. Для этого в Inspector Cloud не одна нейросеть, а дюжина.

Все начинается с фото выкладки в магазине — после него запускается обработка, в ходе которой нужно быстро и точно вытащить максимум полезной информации и отправить отчетность аналитикам.

Нейросеть №1

Контролирует качество изображения по нескольким критериям. Фото должно быть четким, снято под правильным углом и на таком расстоянии, чтобы товары и ценники было видно.   

Нейросеть №2

Она выясняет, настоящее фото перед ней или подделка. Люди часто пытаются обмануть компьютер, чтобы сэкономить время. Чаще всего нерадивые сотрудники снимают экран другого устройства с открытыми на нем фото полок супермаркета, либо делают фото мерчандайзинг-буков. В этом случае нейросеть ищет мелочи, которые могут выдавать подделку.

Нейросеть №3

Она умеет определять ориентацию кадра, и если сталкивается с «перевернутым» изображением, то понимает, на сколько градусов его нужно повернуть. Для распознания продуктов это не важно, но для подсчета доли полки нужно, чтобы все было расположено горизонтально.

Нейросеть №4

Более точное название этого алгоритма — «коррекция перспективы». Он выравнивает фото так, чтобы горизонтальные линии стали строго горизонтальными, а вертикальные — строго вертикальными. Это делает обработку точнее.

Нейросеть №5

Определяет места продаж. На одном кадре может быть два места продажи, причем в разных категориях, а значит, с разными бизнес-правилами и показателями. Та же самая логика необходима, если продукт стоит и в обычном стеллаже, и в холодильнике. Часто стоит задача контроля выкладки товарав холодильнике, особенно брендированном.

Нейросеть №6

Локализует объекты на фото. При этом она умеет работать и с обычной выкладкой прямоугольных коробок рядами, так и с нестандартными случаями.

Нейросеть №7

Чтобы начать распознавать сами товары, надо увидеть полки, именно этим занимается седьмой алгоритм. Иногда продукты стоят стопками, и полку различить сложно.

Нейросеть №8

Распознает цену. У нас огромная библиотека ценников: рукописных и печатных, из маленьких и больших сетей. На каждом ценнике она читает основную цену: это либо та, где шрифт самый большой, либо самая правая нижняя.

Иногда в магазинах ценники путают. Но у нейросети есть статистический фильтр — надстройка, которая сравнивает указанную на ценнике цифру с другими расценками на этот товар в той же сети. Если они отличаются, значит, ценник перепутали.

Нейросеть №9

Она определяет, является ли цена регулярной или промо. У нас есть большой каталог образцов промо-ценников сетей, где работают наши клиенты.

Галерея

Нейросеть №10

Самая главная из нейросетей. Определяет, какие товары находятся в кадре. Для этого в систему надо заранее загрузить информацию о товарах и их вариациях. Эту информацию мы получаем от клиента или из сторонних источников.

Распознавание бывает:

• По товарной позиции. Наша задача, увидев ее, прямо сказать, что это за бренд, определить категорию, вкус и размер.
• По бренд-формату, если это продукт конкурента. Это не наш клиент, но мы знаем этот бренд и к какой категории он относится. Важно понять, где он, чтобы учитывать его в аналитике.

Нейросеть №11

Во всех категориях, с которыми мы работаем, есть линейки с разным размером упаковки. Их распознает отдельный алгоритм, который учится соотносить размеры и цены. Если цена сильно отличается между разными размерами, он уточняет литраж, граммы и аналогичные показатели.

Нейросеть №12

Последний шаг — собрать панораму. Алгоритм собирает вместе изображения после обработки, чтобы мы не посчитали одну полку или товар два раза, потому что снимки сделаны внахлест.

Теперь мы готовы считать показатели. Начинается отдельная большая история: мы считаем долю полки, выполнение ассортиментных матриц и другие показатели.

Как мы обучаем нейросети

Проект начинается с самого важного — каталога. На его основе мы создаем датасет для обучения системы.

Другая составляющая обучения — «живые» фотографии с полок магазинов. Чем больше примеров, тем выше шансы корректного автоматического распознавания. Также важно поддерживать актуальность данных: рынок меняется, ассортимент меняется, происходят редизайны. Поэтому мы регулярно просим у заказчиков информацию о новинках.

Чтобы выйти на точность в 90-95%, каждая товарная позиция должна набрать около 1000 примеров. Это разные ракурсы, деформации, типы освещения и т.п. Чем больше распространен продукт, тем проще набрать необходимое количество снимков.

Для функционирования системы важно качество фотографий. Это второй краеугольный камень, который позволяет быстро понимать, что стоит на полках. Мы рекомендуем снимать с 2-3 шагов, перпендикулярно полке от верхнего до нижнего стеллажа, чтобы в один кадр помещался по высоте весь стеллаж.

Фото: LADO/Shutterstock

Как мы помогаем работать с мерчендайзерами

Многие мерчандайзеры оторваны от бизнеса, и поэтому у них нет мотивации делать хорошие фотографии во время обхода. Слишком велик соблазн вводить данные вручную и мухлевать с данными. Мы предлагаем клиентам работаем включить такие бизнес показатели, как доля полки, в схему мотивации. Тогда мерчандайзеру легко оценить этот показатель в приложении и понять, какие изменения потребуется внести, чтобы достигнуть плановых показателей.

Другой путь — балльная система оценки эффективности. Сотрудник выполняет задачи, связанные с представленностью товаров. Количество этих баллов связано с распознаванием продукции через приложение Inspector Cloud, поэтому у мерчандвйзера появляется причина использовать приложение.

Как мы работаем с клиентами

Перед непосредственно коммерческим проектом мы запускаем пилотный с фиксированной стоимостью. C 2018 у нас больше 50 пилотных проектов, из них больше 10 переросло в коммерческие. Мы считаем финансовые показатели для компаний и включаем финансовую ответственность за качество отчетов в договор.

Сейчас примерно 50% администрирования осуществляется на стороне заказчика и 50% — на нашей стороне. Большим количеством аспектов управляет сам клиент: пользователи, маршруты и все, что связано с организацией полевой работы. Обучение нейросетей пока остается на нашей стороне. 

Мы реализуем проекты в двух форматах: облачный, который работает через интернет, и новое направление — девайс-распознавание, которое позволяет использовать мобильный или вай-фай интернет, чтобы распознать фотографии. Это делается на мобильном устройстве и значительно сокращает время распознавания и время ответа пользователям. Если, в первом случае это 1-2 минуты в идеальной модели, то во втором случае 3-5 секунд на фото, которое мерчендайзер делает в полях.

В 2021 году мы планируем повысить уровень сервиса и дать заказчикам большую автономность и самостоятельность в работе с решением. Многие процессы требуют автоматизации и в этом году наш фокус будет именно на оптимизации таких процессов, чтобы снизить долю «ручного управления».

Другим не менее важным фокусом для нас будет разработка и внедрения распознавания на устройстве. В 2020 году Фонд содействия инновациям выделил нам 20 миллионов рублей на разработку нового продукта. Он будет решать схожие задачи, но быстрее: вместо минут на распознавание одной категории будут уходить секунды. Повысится доступность сервиса для конечных пользователей (мерчендайзеров и торговых представителей), им станет проще работать в магазинах без интернета.

Фото на обложке: Unsplash