1. Начните с вопроса
Плохая постановка: «Проверим новый баннер». Хорошая: «Увеличит ли персональное предложение повторные покупки и не съест ли скидка дополнительную прибыль?»
- Что именно меняем?
- Какой результат ожидаем?
- Почему считаем, что он изменится?
- По какой одной главной метрике примем решение?
2. Делите людей случайно
Главное условие честного теста — группы должны быть похожи до начала эксперимента. Самый простой способ — случайно распределить пользователей между вариантами.
- Не берите «первые 10% базы» как контроль.
- Один пользователь не должен одновременно оказаться в тесте и контроле.
- Если аудитория очень разная, можно сначала разделить её на крупные группы — например, по стране или активности — и уже внутри них распределять случайно.
- После старта не переносите пользователей между группами без заранее заданного правила.
3. Выберите одну главную метрику
Метрика должна быть связана с бизнес-задачей. Открытия письма полезны для диагностики, но редко являются конечным результатом бизнеса.
Если проверяем… | Можно смотреть… |
|---|---|
повторную покупку | долю повторных покупок |
рост заказа | средний чек / выручку на пользователя |
удержание | долю вернувшихся клиентов |
промо со скидкой | выручку и обязательно прибыль / маржу |
4. Заранее поймите, сколько людей нужно
Если людей слишком мало, тест может не заметить даже реальный эффект. Поэтому размер групп лучше считать до запуска.
Сначала определите полезный для бизнеса эффект, потом считайте выборку.
5. Дайте тесту достаточно времени
Нужное число пользователей — только половина дела. Тест должен захватить нормальный цикл поведения клиентов. Для частых покупок это может быть одна история, для редких — совсем другая.
- Заранее определите минимальную длительность.
- По возможности захватите полный недельный цикл, если поведение отличается по дням недели.
- Не завершайте тест только потому, что сегодня результат выглядит особенно красиво.
- Учитывайте распродажи, праздники, изменение цен и другие события, которые могли повлиять на обе группы.
6. Не проверяйте победителя каждый час
Если каждый день смотреть на результат и останавливать тест в первый момент, когда разница стала «значимой», шанс ошибочного вывода растёт. Самый понятный подход для большинства CRM-команд: заранее определить размер выборки и минимальный срок, дождаться их и только после этого принимать решение.
7. Следите, чтобы контроль не получил то же воздействие
Если контрольная группа не получила письмо, но получила ту же скидку в push, баннере или другой кампании, сравнение становится слабее. До запуска проверьте пересекающиеся коммуникации.
8. Смотрите не только на «есть разница / нет разницы»
- Насколько большой получился эффект?
- Достаточно ли он велик, чтобы иметь смысл для бизнеса?
- Не ухудшились ли прибыль, отписки, жалобы или другие важные показатели?
- Хватило ли данных, чтобы сделать уверенный вывод?
