Секреты A/B-тестирования: метрики, сроки и фичи, которые невозможно проверить

Эффект в цифрах и без них

Прежде чем всем пользователям Lamoda станет доступен новый функционал, мы проводим A/B-тестирование. С этим менеджерам продукта помогает отдел дата-сайентистов и аналитиков. Они проверяют, влияет ли функционал на ключевые метрики, одна из которых — деньги.

Через тестирование проходит от 80 до 90% новых фич и продуктов платформы. Мы не тестируем те улучшения, результат внедрения которых нельзя измерить. Например, мы добавили на главную страницу приложения возможность переключаться сразу между несколькими разделами: подборка, каталог, избранное, профиль и корзина. Так как этот блок насквозь проходит все разделы платформы, ограничить аудиторию, которой он доступен, невозможно.

Новые бизнесы не всегда можно A/B-тестировать. В новейших проектах без аналогов слишком много неизвестных, неясны метрики. Непонятно, например, как именно статьи из блога влияют на решение о покупке конкретного товара и в какой временной перспективе. Но мы понимаем, что заход на страницу с текстом и его прочтение приносят эффект.

Классическая схема A/B-тестирования

1. Запуск эксперимента на определенный срок и процент пользователей, которые в нем участвуют. Клиенты получают дополнительную функциональность сервиса.
2. Сбор идентификаторов пользователей и данных об их поведении на сайте, покупках.
3. Итоги. Оценка целевых продуктовых и бизнес-метрик.
   
   

Элементы эксперимента

Контрольная группа. Тестирование предусматривает наличие контрольной группы, характеристики которой определяют аналитики и специалисты по большим данным при помощи математического анализа. Группы формируют так, чтобы они дублировали поведение пользователей всех сегментов аудитории Lamoda. Для конкретного эксперимента продакт-менеджеры могут выбрать группу из заранее сформированных по определенным правилам.

Тестовые группы. У нас есть возможность раскатить новую фичу, например, только на сотрудников и даже только на одного пользователя. Можно открыть эксперимент для разных сегментов аудитории: по странам, по платформам, по группам. Классическая схема: 50% аудитории выступают как контрольная группа, другие 50% — как тестовая.

Открывать новую фичу просто на всех пользователей без сложных схем тестирования не очень эффективно для большого бизнеса: мы не поймем, действительно ли конкретное изменение повлияло на общую выручку или конверсию в покупку, не сможем спрогнозировать дальнейшие точки роста.

Вот так выглядит внутренняя админка сайта с двумя вариантами A/B-тестов.

Метрики. Стандартные метрики в A/B-тестировании — это срок, процент конверсии в покупку и рост выручки. Могут быть и чисто продуктовые метрики: в случае тестирования рекомендательной «полки» с товарами для пользователя нужно понять, сколько на ней должно быть карточек товара, удобно ли пользователю листать вбок.

В этом случае можно принять в качестве метрики количество карточек на полке рекомендаций. А при тестировании блока с возможностью оплаты с рассрочкой можно оценить и конверсию в покупку, и конверсию в заказ.

В блоке про доставку добавили информацию про условия бесплатной доставки.

Срок. Срок теста определяется исходя из перспектив набора статистической значимости — необходимого объема пользователей, которые бывают в разделе расположения новой фичи. В среднем наши тесты идут три-четыре недели. В менее посещаемых разделах эксперименты длятся дольше.

Пример эксперимента: перенос блока про доставку под кнопку «Добавить в корзину», так как исследование показало, что информация о выборе цвета и размера для пользователя важнее, чем информация о доставке.

A/B-тестирование на примере сервиса «Стилист»

Оформление услуги

Покупатели готовы тратить все меньше времени на подбор гардероба и хотят делегировать этот процесс. На этой гипотезе Lamoda построила новый сервис «Стилист» и запустила первые тесты осенью 2019 года. Так платформа старается расширить свой образ онлайн-магазина до онлайн-советчика и проводника в мир моды и образа жизни.

Первой задачей было понять, нужен ли нам такой проект и куда двигаться, чтобы он работал эффективно. Первые тесты мы проводили на небольшой части сотрудников. Это был простой сервис на коленке: таблица Excel, чат в Telegram, два стилиста, которые собирали капсульный гардероб для участников эксперимента.

Семь тысяч сотрудников компании — отличная база для любых исследований, потому что сегментация примерно совпадает с особенностями аудитории платформы. Сделав первые выводы, мы разработали самый простой сервис и предложили протестировать его уже всем сотрудникам. Система работы стала сложнее. Мы ожидали, что запросы будут в основном от женщин, но 50% заявок поступило от мужчин. Сотрудники сами выкупали подобранные вещи и вели себя как реальные клиенты.

Тесты проходили до начала пандемии, а весной 2020 года нам пришлось их приостановить: в условиях распространения заболевания на наши метрики нельзя было полагаться. Поведение пользователей сильно изменилось, и мы наблюдали это на всех продуктах. Тестировать новый сервис в таких условиях было рискованно.

Эти отзывы помогли нам доработать коммуникацию и объяснить особенности нашей услуги. Мы усовершенствовали анкету, чтобы пользователь мог рассказать нам о своем гардеробе.

30 сентября 2020 года услуга стала доступна всем пользователям сервиса в тестовом режиме, эксперимент будет идти до конца октября. Пока результаты схожи с итогами нашего внутреннего тестирования. Единственное отличие: пользователей-мужчин немного меньше, чем внутри компании: 20% аудитории.

A/B-тестирование в вашей компании

Эксперименты и анализ их результатов помогают нам расставлять приоритеты, выявлять точки роста, четко понимать, что именно нужно улучшать для увеличения оборота компании. Благодаря тестам выводы максимально точны и это позволяет эффективно развивать продукт.

Разработка системы A/B-тестирования довольно сложная. Чтобы система работала качественно, нужны существенные вложения и специалисты. Если того и другого нет и речь идет о стартапе с понятной и небольшой аудиторией, то что-то улучшать можно и на основе сбора обратной связи от пользователей. Сложные алгоритмы тестирования будут избыточны.

A/B-тестами имеет смысл заниматься в том случае, когда компания уже нарастила аудиторию в несколько миллионов и не может проводить глубинные интервью. Тогда в ход идут исследования, масштабные опросы и анализ поведения.

Как получить максимум от A/B-тестов

1. Начинать с вопроса «Зачем мы это делаем?» и внятного ответа на него.
2. Определить контрольную и тестовые группы.
3. Продумать общие и локальные метрики в отдельных экспериментах.
4. Следить за тем, как показатели экспериментов могут повлиять на общие бизнес-показатели компании.

Фото на обложке: Shutterstock/aanbetta
Изображения в тексте предоставлены автором