Как не наломать дров при выборе контрольной группы для запуска целевых маркетинговых акций

Почему рандомный выбор контрольной группы искажает результат. Разбираем кейсы и даём рекомендации как избежать болезненных ошибок при оценке эффективности акций.

Основным методом оценки эффективности акций в CRM-маркетинге является сравнение результатов основной и контрольной группы. Контрольная группа, в отличие от основной, не получает целевое предложение и ведёт себя естественным образом. Поэтому такое сравнение позволит нам весьма достоверно оценить эффект от коммуникации и рассчитать дополнительный доход от маркетинговой акции. Этот метод также используется для тестирования новых акций. Подробнее об этом можно почитать в нашей статье здесь. 

Если мы ошибёмся в выборе контрольной группы, то по итогам акции рискуем получить неверные данные и сделать ложные выводы о её успешности или провале.

Здесь мы не будем касаться метода определения размера контрольной группы – он имеет критическое значение для достоверности результатов и является темой для отдельной статьи. 

Поговорим про способ выбора контрольной группы. Основной способ выделения контрольной группы – рандомный. То есть, её участники выбираются из этого же сегмента случайным образом.  Именно так сегодня работают алгоритмы почти всех сервисов автоматизации маркетинга. Казалось бы, такой способ корректен – элемент случайности усредняет значения. Но всё не так гладко. В нашей практике случайность выдавала существенные отклонения и приводила к неверной интерпретации результатов. Успешные на первый взгляд акции на самом деле являлись убыточными. И наоборот. Давайте разберём это на примерах.

Ситуация 1

Тестируем акцию на аудитории 4200 человек. Выделяем контрольную группу в размере около 30%. По итогам теста получаем следующий расчёт эффективности:

Наблюдаем отличный результат – плюс 18% в выручке. Перед тем как открыть шампанское, решаем проверить цифры. Видим, что дополнительный отклик на коммуникацию был слабым, только +0,7% по сравнению с КГ. Прирост получился за счёт высокой средней выручки на клиента в основной группе: +21%. Изучаем контрольную группу и видим, что средняя выручка клиентов контрольной группы и до проведения акции была на 30% ниже. Это значит, что реальный прирост выручки от акции значительно скромнее и составляет не 18%, а всего около 2%. 

Если теперь на основе некорректных данных мы примем решение о масштабировании акции, то прогноз рентабельности будет сильно завышен и результаты нас сильно удивят. Хорошо, если акция не принесёт убыток. Такое часто может происходить при запуске омниканальных кампаний, когда выручка на клиента в разных каналах может сильно отличаться. 

Вывод: Выборки целевой и контрольной группе должны быть схожи по средней выручке на клиента до проведения акции.

Ситуация 2

Рассмотрим другой пример:

Результат акции скромный – всего плюс 3% в выручке. Поскольку маржинального дохода может быть недостаточно для проведения акции, то возникает желание акцию прекратить или переформировать.

Однако не рубим сгоряча. Изучаем контрольную группу и обращаем внимание, что часть её участников в период акции получала коммуникацию в рамках другой акции. Таким образом, контрольная группа не показала обыденного поведения и этим ухудшила статистику основной группы. Очистив контрольную группу от таких клиентов, мы получаем намного лучший результат – плюс 20% в выручке.

Чем опасна ситуация.  Вы точно не получите убыток. Но точно получите упущенную выгоду, так как примите решение акцию не запускать. 

Вывод: Контрольная группа должна быть «чистой».

Ситуация 3

Мы учли факторы первой и второй ситуации и корректно распределили получателей на основную и контрольную группу. Однако акция, которая раньше показывала отличный результат, сейчас неожиданно дала на выходе ноль:

В чём дело? Анализируем, обращаем внимание на разницу в средней выручке между клиентами основной и контрольной группы. Результаты контрольной группы выше, что очень подозрительно. Изучаем контрольную группу и находим в ней несколько покупателей, которые имеют аномально высокую частоту и средний чек. При проверке они оказываются скрытыми корпоративными клиентами. В основной группе таких клиентов нет. Это значит, что перекос украл результаты у успешной акции.

Величина нашего заблуждения будет зависеть от того, в какой группе окажутся аномальные клиенты и насколько их параметры отличаются от стандартных. Мы рискуем как порадоваться удаче, так и не заметить абсолютный провал. 

Вывод: В выборках ЦА и КГ не должно быть «аномальных» клиентов.

Подведём итог 

Думать, как корректно сформировать основную и контрольную группы нужно перед запуском акции. Поэтому, мы в Direct Service не полагаемся только на случайность и всегда делаем так:

Многоуровневая проверка требует времени наших экспертов, но мы считаем это оправданным. Ведь чистые эксперименты и верные выводы позволяют иметь точную аналитику всех CRM-маркетинговых активностей. А ведь именно CRM-маркетинг – основной инструмент для получения дохода от программ лояльности. Получается, что правильно сформированные контрольные группы непосредственно влияют на точность экономической модели и прогноза окупаемости программы лояльности.

Статью подготовили: Елена Яблокова, Елена Евсевлеева, Сергей Ольховский.