Мы сделали ИИ-алгоритм для помощи мерчендайзерам. Вот как он работает

Наталья Павловская
Наталья Павловская

Исследователь Neuromation

Расскажите друзьям
Светлана Зыкова

Наталья Павловская, исследователь Neuromation, рассказывает, зачем алгоритмы искусственного интеллекта применяются в торговле и как в компании разрабатывали систему для помощи мерчендайзерам.

Современные алгоритмы машинного обучения прекрасно работают в различных областях человеческой жизни. Одна из таких областей — торговля. Продавцы хотят оптимизировать затраты и заработать побольше. Покупатели хотят оптимизировать время, проведенное в магазине, и купить качественный товар дешевле. В этой области эффект от каких-либо инноваций немедленно выражается в деньгах, поэтому автоматизация очень популярна.

И здесь искусственный интеллект может помочь как продавцу, так и покупателю. Конечно, есть штрих-коды, которые упрощают множество задач в торговле. Но не вся информация, которая нам нужна, может уместиться в штрих-код конкретного товара. И не всегда она достаточно доступна.

Зачем нужен ИИ в ритейле

1. Покупателям

Пойдёт ли покупателю одежда, представленная в магазине? Часто для решения этого вопроса требуется примерка. Сейчас алгоритмы могут довольно успешно выделить нужный предмет одежды на фотографии модели.

Для работы некоторых сервисов от пользователя нужна всего одна фотография. Так, алгоритм от Yahoo! Research и National Technical University of Athens распознаёт позу человека и находит на фотографии предметы одежды. Затем производится поиск похожих предметов гардероба в базе данных – и пользователь получает предложения о том, где можно купить подобные вещи. А алгоритм, разработанный в Стэнфорде, не только распознаёт предметы одежды на фотографии, но и определяет, какие модные тренды присутствуют в образе.

Другие алгоритмы могут по вашему наброску внешнего вида товара найти похожие товары в интернете. Третьи по фотографии холодильника у вас дома подскажут, надо ли купить молоко. Например, Centre for Mathematical Sciences Lund University установил в холодильнике камеру и датчик движения. Датчик позволяет анализировать не всё видео подряд, а только кадры, на которых что-то происходит и содержимое холодильника меняется. Алгоритм автоматически определяет, добавилось ли что-то в холодильник, продукт был перемещён или его забрали.

Компания Samsung предлагает составлять списки для похода в магазин на основе анализа холодильника. Есть также возможность согласованно работать с приложением всей семьёй.

Некоторые роботы, такие как «Алиса» или Alexa, могут послушать ваши просьбы и заказать нужный товар.

2. Продавцам

Машинное обучение способно приносить пользу не только покупателям, но и продавцам. Один из классов алгоритмов, приносящий пользую продавцу (а заодно и покупателю) — это рекомендательные системы, которые позволяют продавать больше товаров за счёт того, что покупатель видит в первую очередь то, что ему действительно нужно.

Но есть и области задач в торговле, которые не сразу бросаются в глаза покупателю, но тем не менее важны для организации процессов в компании продавца.

Например, подбор персонала уже можно отчасти доверить алгоритмам машинного обучения. А алгоритмы компьютерного зрения могут помочь с мониторингом наличия товаров на складах и в магазинах.

Для эффективной работы супермаркета необходимо, чтобы товары, которые он хочет продать, стояли на полках в нужном количестве. Для этого у магазинов есть планограммы — схемы полок. На планограммах указано, например, где какой стиральный порошок должен стоять (на верхней полке или на нижней?), какие марки должны быть представлены, сколько упаковок одного и того же товара должно располагаться подряд на одной полке.

Для того, чтобы реальность соответствовала плану, нужны мерчендайзеры, которые мониторят состояние полок. Можно попытаться облегчить их труд, используя свёрточные нейронные сети. В принципе, процесс можно и полностью автоматизировать, если вместо живого сотрудника использовать робота с камерой. 

Такой робот устроен не сложнее пылесоса. Есть даже проект студентов Стэнфорда, в котором задействован похожий робот от Fellow Robots.

Как мы обучали нейросеть для помощи мерчендайзерам

Мы в своей работе сосредоточили внимание на зрительной части автоматизации работы мерчендайзеров. Наша задача включала в себя обнаружение товара на полке (детекцию), его распознавание и сопоставление с базой имеющихся товаров.

Задача распознавания (классификации) давно и хорошо решается нейросетями. Но есть одна сложность: она хорошо решается, если заранее известно количество классов товаров. А в магазины постоянно приходят товары с новыми артикулами и видоизменёнными упаковками. Например, с точки зрения алгоритма Coca-Cola с Санта-Клаусом на этикетке и без него — это две разные позиции. Получается, что мы никогда заранее не знаем, сколько классов у нас будет и какие они.

Для решения этой проблемы мы используем следующий подход. При появлении нового товара его требуется сфотографировать 10-15 раз и добавить эти фото в базу. По фотографиям наша предобученная свёрточная сеть вычисляет так называемые глобальные дескрипторы (которые по-другому называются эмбеддинги или представления). Эти глобальные дескрипторы — по сути вектора размерности 256. Одной фотографии соответствует один вектор, содержащий в себе достаточно информации об исходном изображении.

Теперь, когда мы фотографируем полку в магазине, после определения положения товаров на фотографии получается набор маленьких картиночек, вырезанных из фотографии полки, на каждой из которых только один продукт.

Для определения класса товара на картинке мы вычисляем для неё глобальный дескриптор при помощи той же нейронной сети. А дальше ищем в имеющейся базе дескрипторов (товаров) тот, который наиболее близок — в смысле евклидова расстояния между векторами — к дескриптору для товара с нашей новой картинки.

С вероятностью 96-100% класс товара на новой картинке такой же, как класс наиболее близкого товара из базы. Таким образом, добавление нового товара в базу не требует переучивания модели и может происходить очень быстро: нужно вычислить всего 10-15 новых дескрипторов. Подобным образом работает поиск по картинкам в поисковых системах.

Осталось где-то взять модель, которая будет вычислять достаточно хорошие дескрипторы. Для построения такой модели надо обучать её на тысячах примеров, 10-15 фотографий каждого товара будет недостаточно. Для этого мы используем синтетические данные.

Магазин присылает нам развёртки упаковок, по которым строятся трёхмерные модели. По этим моделям можно получить сколько угодно изображений товара, повёрнутых под разными углами, в условиях разной освещённости. То, что нужно для обучения нейронной сети!

В итоге, согласно нашим данным, разработка оказалась сравнимой по качеству с мировыми аналогами. Например, компании Eleader, Vispera и Lab4Motion обещают 98-99% качества. Российская компания «Кузнеч» обещает качество в 96%, но для его достижения требуется 200 высококачественных фотографий, а не 10-15, как у нас. Французская Planorama обещает идеальное качество, но финальный этап проверки работы алгоритма доверен людям, поэтому их система даёт ответ только через 48 часов, а наша не требует человеческого вмешательства и может работать в реальном времени.

Итак, мы получаем модель, которая по неидеальной фотографии полки в магазине вычисляет положение и типы товаров на ней. Продавец понимает, насколько обстановка на полке соответствует плану. А покупатель видит полный ассортимент.


Материалы по теме:

Обновленная карта Retail Tech: кто продвигает технологии в российском ритейле

Пять технологий, которые меняют магазины в России

Как искусственный интеллект определяет воров в магазинах без касс

Как повысить продажи в три раза с помощью Big Data и машинного обучения?

Фото на обложке: Depositphotos.


Актуальные материалы — в Telegram-канале @Rusbase

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter


Комментарии

Зарегистрируйтесь, чтобы оставлять комментарии и получить доступ к Pipeline — социальной сети, соединяющей стартапы и инвесторов.
QIWI Techday - Make It Real
17 декабря 2018
Ещё события


Telegram канал @rusbase