Запускаете новый функционал? Вот чем способно помочь A/B-тестирование

История вопроса: как мы пришли к необходиомсти A/B-тестирования 

Персонализация меню — не самый быстрый и дешевый процесс, он требует основательной подготовки. В нашем случае важно было ответить на два ключевых вопроса: действительно ли у наших клиентов есть такая потребность и сколько мы заработаем, если дадим им такую опцию.

Наша гипотеза заключалась в том, что с персонализированным меню возрастет LTV (lifetime value — показатель прибыльности за все время работы с клиентом) за счет роста конверсии и среднего чека. 

Первым этапом проверки гипотезы стало качественное исследование ― интервью и опросы.

Оказалось, что в основном клиенты уходят от нас или делают перерыв в обслуживании по двум причинам:

1. Вкусовые предпочтения: блюда «приелись»;
2. Медицинские показания: аллергии или непереносимость каких-либо продуктов.

Эти две причины назвали примерно 20% наших клиентов — это много. Получается, что у компании есть большая аудитория, которая недовольна предложением и из-за этого отказывается от сервиса. И это мы еще не учитывали потенциальных пользователей, которые оставляют заявку на сайте и не оплачивают ее.

На следующем этапе я лично выбрал 20 клиентов, которые хотели отказаться от сервиса, и предложил «вручную» пересобрать рацион, чтобы он полностью соответствовал их предпочтениям.

Мы переписывались в Telegram, и я передавал их пожелания по блюдам «на кухню».

В итоге у нас было два главных аргумента в пользу персонализации:

1. Само развитие рынка требовало от нас введения новой фичи: начали появляться игроки, у которых уже был реализован подобный функционал.
2. По самым минимальным подсчетам, 20% клиентов уходили от нас потому, что в меню были блюда, которые надоели, разонравились или содержали в составе неприемлемые ингредиенты.

Две ключевые задачи: для чего мы использовали A/B-тестирование

Запуск функционала замены блюд в меню на всех клиентов ― дорогое решение. Работать с ним, не проведя A/B-тестировние, было бы рискованно. Мы хотели «обкатать» новый функционал на малом количестве пользователей и найти слабые места, не испортив при этом клиентский опыт.

A/B-тест должен был ответить на два ключевых вопроса:

1. В какую сторону и насколько изменятся продуктовые метрики: конверсия из заказа в первую оплату, средний чек, конверсия во вторую покупку, LTV и др.;
2. Как внедрение функционала замены в операционные процессы повлияет на клиентский опыт. 

Важно было убедиться, что мы улучшим эти показатели, и понять, благодаря какой именно стратегии это произойдет.

Для A/B-теста мы разделили пользователей на два сегмента: тех, кто пользовался заменой (10% всех клиентов) и тех, кому эта опция не была доступна в приложении.

После авторизации на сайте система рандомно выбирала, кто попадает в эксперимент и кому будет видна замена. Это отображалось в «карточке» клиента и было видно менеджеру. После этого менеджер звонил и дополнительно проговаривал, что у клиента есть опция замены блюд.

Примерно к третьей неделе появились первые значимые данные.

После звонка клиенту счетов выставлялось меньше, или их меньше оплачивали. Здесь было три гипотезы: либо менеджер некорректно рассказывает про замену блюд, либо клиенту не нравится меню, либо не подходят конкретные блюда на замену. Независмо от того, что именно играло решающую роль, это позволило нам внести важную коррективу — мы стали предлагать возможность замены блюд только после покупки первой подписки. 

Статистика по среднему чеку, на первый взгляд, тоже выглядела не слишком радужно.

Данные из CRM показывали, что готовые рационы без замен покупают лучше. Однако при детальном разборе оказалось, что один наш давний клиент из числа тех, кому замены были не доступны, оплатил подписку на 200 тысяч рублей для себя и жены.

Постепенно мы стали расширять аудиторию: нашей задачей было встроиться во все каналы коммуникации с клиентом и рассказать о возможности замен. Такой массированной атакой мы дошли до 20% пользователей (позже эта доля увеличилась до 50%, прежде чем функционал стал доступен всем клиентам) и сделали небольшой ресерч.

Оказалось, что часть клиентов приходят на замену, но не используют эту опцию. Кто-то просто забывает о ней, а кого-то не до конца устраивает выбор блюд в целом и тот факт, что по некоторым нужна доплата для замены (хотя она и основана исключительно на разнице стоимости блюд, которую мы платим фабрикам за приготовление).

Тогда мы решили расширить ассортимент, а также добавить напоминания для пользователей о возможности сделать замену. Это дало нам примерно 5-7% роста количества клиентов.

Конверсия во вторую покупку тоже стала выше: клиенты, которые воспользовались заменами, чаще продолжали покупать у нас. 

Что дало А/В-тестирование: первые результаты запуска новой фичи 

Спустя 3 месяца после внедрения персонализированного меню для всех пользователей мы можем делать выводы о первых результатах.

Цифры говорят сами за себя:

• 35% клиентов активно пользуются заменой блюд;
• конверсия второй покупки увеличилась на 10,7%;
• ARPPU (средняя выручка на одного клиента) выросла на 15%;
• 50% клиентов пользуются платной заменой.

Чек-лист: как правильно провести А/В-тестирование 

Многие считают, что A/B-тестирование — это прихоть, и без него можно обойтись. Я бы сказал иначе: это эффективный инструмент, но результат напрямую зависит от того, насколько хорошо вы к нему подготовитесь.

На основе своего опыта мы сделали следующие выводы:

• A/B стоит запускать для функционала, который вы считаете потенциально рискованным, который затрагивает много операционных процессов в компании и может негативно сказаться на опыте клиента.
• Параллельно следует налаживать операционную работу — помогать отделам подстроиться под новые условия.
• Нужно тщательно подходить к планированию и проектированию тестирования, чтобы получить понятные данные. Хороший аналитик вам поможет. 
• Внимательно изучайте «сырые» данные, чтобы однозначно понять: изменения в статистике ― это случайный всплеск или все же закономерность.

Да, иногда это дорого и долго, но A/B-тест нужен, чтобы понять, где в вашей работе могут возникнуть ошибки. Ведь лучше исправить их на малой аудитории, чем потом объяснять всем клиентам причину массового сбоя.