Top.Mail.Ru
Колонки

Как тестировать маркетинговые гипотезы в 2023. Часть 2: от оценки до анализа результатов

Колонки
Виктория Аргышева
Виктория Аргышева

Сооснователь и CEO «Норм агентства», эксперт в контент-маркетинге, ментор Miranna и Women in Tech

Анастасия Удальцова

Представим, что мы уже научились искать идеи и правильно ставить цели при постановке гипотезы. Что делать дальше и как понять, что дело «выгорело»?

Виктория Аргышева, сооснователь и креативный директор «Норм агентства», и другие предприниматели постарались ответить на эти вопросы — они поделились лайфхаками о самом процессе тестирования: оценке сформулированных гипотез, их тесте и анализе результатов.

Как тестировать маркетинговые гипотезы в 2023. Часть 2: от оценки до анализа результатов
  1. Колонки

Содержание:

 

Как правильно сформулировать гипотезу

Перед началом теста любой гипотезы — маркетинговой или продуктовой — надо корректно ее сформулировать и определить исходную точку «А» и финальную точку «Б».


Коротко это можно выразить формулой: «Если [гипотеза], то [результат]».


Например, «Если упаковать курсы онлайн-школы в пакетные предложения [гипотеза], можно увеличить средний чек на 50% [результат]».

 

Какие детали нужно продумать сразу

Гипотеза сформулирована. Дальше стоит сразу учесть несколько моментов.

Когда я тестирую гипотезы, всегда иду вот по такому списку:

  1. На какую цель или метрику направлена гипотеза. 
  2. Какие метрики мы измеряем. Какие показатели у них сейчас и откуда мы получаем эти данные.
  3. На какой выборке проводим тестирование: конкретный сегмент и данные об аудитории.
  4. Ожидаемый результат в конкретных измеримых показателях.
  5. Порядок тестирования и интерпретации результатов.

 

Андрей Божьев, founder booktech-стартапа Relolib, ex-CMO бизнес-единицы «Дошкола» «ИнтернетУрок»


Например, так может выглядеть работа с гипотезой у онлайн-школы, которая пытается повысить процент пользователей, которые совершают повторные покупки.

 

Как приоритизировать гипотезы

Обычно гипотез в бизнесе больше одной, а бюджеты ограничены. Поэтому следующий шаг — оценить и приоритизировать их. Самые популярные методики для скоринга — ICE и RICE (подробнее можно почитать здесь). Они подходят, если для запуска проекта нужна экспертиза разных членов команды (а так бывает чаще всего).

Но минусы тоже есть. RICE и ICE хорошо работают, только когда у участников скоринга хороший уровень экспертизы и высокая вовлеченность в проект: все должны быть заинтересованы в крутом результате. Иначе получите неправильную оценку. 

 

Михаил Свердлов, консультант по образовательному продукту и аналитике, автор Telegram-канала «Образование, которое мы заслужили»


Чтобы сделать результаты скоринга точными, я бы рекомендовал вводить вес голосов участников. Например, если человек регулярно показывает хороший перформанс в продукте и делает успешные решения, его голос обладает коэффициентом х2. Голоса остальных ребят — коэффициентом х0.5.

Главное быть прозрачными и объяснить команде, от чего зависит этот коэффициент, чтобы все было экологично и не было обид.

 

Лайфхаки по тесту гипотезы

Когда вы выбрали гипотезы, надо определить сроки эксперимента и бюджет. Обычно для теста хватает двух недель, а вот деньги — дело индивидуальное.

Но есть несколько лайфхаков, которые помогут не потратить их впустую.

 

Лайфхак 1: выбирайте самый дешевый способ теста из возможных

Помните, что гипотеза может не сработать (это нормально, на то она и гипотеза), поэтому важно выключать перфекционизм и не тратить слишком много ресурсов на ее проверку.

Перед запуском вебинара я часто предлагаю брендам запустить лид-магнит (например, чек-лист) со схожей темой и посмотреть интерес аудитории. Так мы не потратим деньги на продакшн и выясним интерес аудитории. 

 

Лайфхак 2: сначала тестируйте спрос на продукт, потом вкладывайтесь в разработку

На физические товары можно предложить оформить предзаказ. Услуги или инфопродукты можно продавать с датой старта через несколько месяцев. Главное — сказать аудитории честно, что продукт еще не готов, и дать скидку за ожидание.

Если гипотеза не подтвердится — вернете деньги и отправите письмо с извинениями. Это дешевле, чем вложиться в разработку ненужного продукта.

 

Кирилл Пшинник, СЕО «Зерокодер»


Однажды мы запустили один из курсов по разработке, потратили много ресурсов, а первый вебинар показал ноль интереса и продаж. Теперь такие ошибки мы не повторяем. 

В следующий раз уже не готовили заранее контент курса, а собрали только маркетинговую упаковку и провели несколько пробных вебинаров. По этим вебинарам поняли, что интерес к теме колоссальный — и только после этого начали подготовку самого курса.

 

Лайфхак 3: убедитесь в чистоте эксперимента

 

Михаил Свердлов


Не проверяйте одновременно гипотезы, которые бьют в одну и ту же цель. 

Допустим, вы хотели увеличить количество покупок с главной страницы сайта. Для этого изменили описание продукта и сделали другую систему оплаты. То есть протестировали параллельно два изменения. Количество покупок при этом упало.

Почему?

Неизвестно, потому что две гипотезы тестировались одновременно.

 

Лайфхак 4: синхронизируйтесь со всеми участниками проекта

Очевидно, но часто в спешке этот момент забывается. Одна часть команды решает, что инициатива хорошая, и запускает тест, а другая к нему не готова. Чтобы этого избежать, достаточно проводить регулярные статусы с командой.


Читайте по теме: Бизнес как море: 5 советов по управлению командой, чтобы не потопить проект


 

Лайфхак 5: дожидайтесь статистически значимых результатов

Иногда бывает так: вы начали тест, смотрите на результаты, они плохие. 

Например, повысили цены на сайте, и покупок — ноль. Возникает соблазн снизить цены, поменять настройки в рекламном кабинете, как-то еще повлиять на эксперимент. 

 

Андрей Божьев


Такие действия приводят к ошибкам при измерении метрик, снижению точности результатов и некорректному анализу данных. Поэтому сначала дождитесь конца тестового периода, а уже потом корректируйте гипотезу.

 

Как анализировать результаты

С помощью калькулятора A/Б-тестов

Если вы тестировали не абсолютно новый продукт, а какое-то изменение, подойдет вот этот калькулятор. Он поможет понять, был ли результат статистически значимыми и стоит ли внедрять изменение.


Читайте по теме: Секреты A/B-тестирования: метрики, сроки и фичи, которые невозможно проверить


 

Не обманывая себя 

Подсознательно всегда хочется, чтобы гипотеза оказалась удачной. Из-за этого легко попасть в когнитивную ловушку и уговорить себя, что результаты, которые не дотягивают до идеальных, можно считать успехом.

 

Михаил Свердлов


Допустим, мы решили, что гипотеза подтвердится, если покупку сделают 50% из зарегистрировавшихся на вебинар. По результатам проверки гипотезы покупку делают немного меньше. Допустим, 30%. Но мы все равно считаем, что гипотеза подтверждена, — покупки же есть.

Чтобы не допустить эту ошибку, сверяйте результаты теста с тем, что хотели получить изначально. Если результаты хуже запланированных, изменение лучше не внедрять. 

 

Не забывая про главное

 

 

Кирилл Пшинник


При проверке гипотез самый главный показатель — деньги. Все остальные — конверсии, количество заказов — производные метрики. 

Если вы проверили гипотезу и у вас ноль продаж, гипотеза провалена. Если есть спрос и продажи, гипотезу нужно докручивать и масштабировать.

 

Ободряющий вывод

Большинство гипотез в стартапах не подтверждаются. Чтобы в этой ситуации сохранять мотивацию, помните:

опровергнутая гипотеза так же важна, как и успешная.

Она помогает отсечь не вашу аудиторию, не ваш маркетинговый канал — отказаться от невостребованного продукта.

А значит, с каждым тестом вы на шаг ближе к росту проекта.

 

Иллюстрации предоставлены автором

Фото на обложке сгенерировано нейросетью Midjourney

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Экономика в HR: с чего начать подбор персонала и на какие затраты рассчитывать
  2. 2 Оформление командировки сотруднику в 2024 году
  3. 3 Быстрый онбординг и вовлеченность сотрудников: зачем компании описывать HR-процессы
  4. 4 3 рабочих инструмента, чтобы бизнесу не умереть в первый год
  5. 5 Подводим итоги месяца в компании — как делать это правильно?
EdTech: карта российского рынка
Все компании и инвесторы в области образовательных технологий
Перейти