Искусство исключения или как «аномальные» клиенты рушат показатели эффективности акций

«Аномальные» клиенты – покупатели, которые по параметрам потребления сильно отличаются от остальных. Но где лежит граница между нормальным и аномальным поведением? И почему важно уметь находить и отделять «аномальных» клиентов?

Для расчёта эффективности маркетинговых кампаний в CVM используется метод контрольных групп. Целевой сегмент (то есть группа клиентов, объединённых по ряду признаков) разделяется на основную группу (ОГ) и контрольную группу (КГ). Коммуникация выстраивается только с основной группой. По итогам маркетинговой кампании выполняется сравнение параметров поведения клиентов в основной и контрольной группе. На этой основе делается расчёт эффективности проведённой кампании.           

Что не так с контрольной группой?

Допустим, при планировании акции мы выделили целевой сегмент. Его размер небольшой – 2000 контактов. Чтобы минимизировать погрешность при оценке эффекта, в контрольную группу мы выделили 1000 человек. Соответственно, остальные 1000 попали в основную группу.

В мелком сегменте большой размер контрольной группы поможет нам сократить влияние каждого отдельного участника на результат. Полностью нивелировать искажение трудно. С одной стороны, чем больше сегмент, тем меньше влияние поведения отдельного участника и тем меньше погрешность. С другой стороны, с ростом сегмента повышается вероятность, что в него попадут «аномальные клиенты».

Затем мы запустили механику и разослали клиентам в основной группе предложение с некоторой привилегией. По итогам кампании замерили её эффект. И вот, получили неожиданный результат – при хорошем дополнительном отклике кампания не принесла экономических результатов. Средняя выручка на одного клиента в ОГ оказалась существенно ниже, чем в КГ. 

Хорошим дополнительным откликом здесь мы считаем результат, когда конверсия в покупку в основной группе оказалась значительно выше, чем в контрольной группе.

В чём может быть причина низкого результата? Особенно если до этого аналогичная кампания всегда отрабатывала на “отлично”

1. Статистический «всплеск»

Даже при однородном распределении сегмента на ОГ и КГ мы получаем неоднородность внутри каждой группы. Ведь вряд ли можно найти бизнес, где все клиенты будут абсолютно одинаковы между собой по всем критериям.

Представим ситуацию. Средний чек нашей КГ и ОГ находится в диапазоне 1200–1700 ₽. При этом звёзды складываются так, что в период проведения акции из контрольной группы покупки совершили клиенты со средним чеком 1500–1700 ₽. В то время, как значимая часть низкодоходной группы по каким-то личным причинам покупку не совершили. В этой ситуации средняя выручка КГ окажется завышена. 

Бороться с этим можно одним способом – использовать даже не микро, а нано-сегментацию. То есть изначально выбирать сегмент с разбросом по среднему чеку не 1500–1700, а, например, строго 1500–1550. Однако в такой узкий сегмент может не набраться достаточное количество клиентов для проведения отдельной кампании и адекватной оценки её результатов.

2. Слишком большая привилегия

Мы не окупаем привилегию за счет привлекаемых ею клиентов. В этом случае требуется пересмотреть механику кампании – либо сократить привилегию, либо предложить её более доходному сегменту.

3. Аномальные клиенты

В контрольную группу закрались «аномальные» клиенты, которые совершают нестандартно большие даже для самих себя покупки и завышают среднюю выручку всей контрольной группы. Это, в свою очередь, искажает оценку эффективности кампании.

«Аномальный» клиент – это не только и не столько ИП или профессиональный покупатель. Ведь таких, как правило, можно выявить на этапе сегментации. Любой обычный клиент может стать «аномальным», если в период акции купит, например, не один пирожок себе на завтрак, как это делал всегда, а сразу двадцать. Например, потому, что накануне получил премию и захотел поделиться радостью с коллегами. Ситуации такого рода невозможно предвидеть. 

На практике нам встречались «аномальные» клиенты с выручкой в 10–150 раз выше среднего. 

Один клиент из тысячи может драматически исказить результат

Представим, что по итогам нашей маркетинговой кампании мы получили следующий результат. Конверсия в покупку в основной группе составила 37 %, а в контрольной – 30 %. Клиенты из ОГ оставили в сети в среднем 1500 ₽. Средняя выручка «нормальных» клиентов, совершивших покупки в КГ, тоже составила 1500 ₽. Наша маркетинговая кампания не повлияла на средний чек и частоту покупок, но увеличила доходимость клиентов. 

Однако в контрольной группе оказался один «аномальный» клиент с выручкой в десять раз выше средней – 15000 ₽.  Какой результат тогда мы получим при оценке эффективности нашей кампании? Из-за всего одного «аномального» клиента дополнительная выручка (разница между выручкой клиентов в основной и контрольной группе) окажется на 14% ниже справедливой. 

В лучшем случае это приведёт к заниженной оценке результатов кампании. В худшем – мы можем решить, что от такой кампании стоит отказаться.

Если отказаться от эффективной механики на основе искаженных результатов, можно упустить дополнительную выручку в несколько тысяч или даже миллионов рублей. И наоборот, если «аномальные» клиенты притаятся в основной группе, то эффективность акции будет неоправданно завышена. Таким образом, умение находить и исключать «аномальных» клиентов – это и реальный способ повысить точность наших решений о запуске кампаний, и способ избежать ошибок в оценке полученной прибыли от CVM.

Как определить «аномального клиента»

Одним из методов поиска аномальных клиентов в статистике является метод квартилей. Он позволяет определить как верхнюю, так и нижнюю границу нормальных значений по выручке в выборке. После определения границ можно исключить из анализа всех клиентов, чьё поведение выбивается за эти границы.

Заметим, что если данный метод выявит аномалии, то размер исходной выборки будет сокращён. Такое сокращение, по определению, не может превышать 25 %, а на практике составляет 1–3 %. 

Метод квартилей можно использовать не только при проверке результатов кампаний, но и до их запуска. Мы применили его при формировании сегмента, до разделения его на ОГ и КГ. Это сделало исходную выборку более однородной по выручке и существенно снизило риск попадания в неё аномальных клиентов. Однако, исключить такой риск на 100 % невозможно – есть вероятность, что в жизни нашего покупателя именно в период проведения акции произойдет событие, изменяющее его поведение.

Метод квартилей даёт нам два важных результата

Рост точности оценки эффективности акций

Когда мы выявляем и исключаем «аномальных» клиентов до сегментации базы, мы нивелируем риск того, что они проявят себя во время нашей кампании и исказят результаты.

Однако мы лишь находим тех, кто уже был замечен за нестандартно большой или маленькой покупкой. Но никак не спасемся от тех, кто всегда вел себя одинаково, а в период акции поступит «не как всегда» – как тот сотрудник с премией и булочками из примера выше. Наша практика показывает, что «аномальные» клиенты примерно в половине случаев оказываются такими вот «тёмными лошадками», чье поведение изменилось только во время акции, а остальные могли быть вычислены и исключены на этапе сегментации базы.

Таким образом, мы наблюдаем, что на протяжении нескольких месяцев в период акций количество «аномальных» клиентов в ОГ и КГ сократилось в 2 раза по сравнению с теми кампаниями, где не был применен данный метод исключения при разделении сегмента на КГ и ОГ.

Отметим, что метод лучше работает на сегментах с большей историей покупок (постоянные, редкие клиенты). Их поведение можно предсказать с большей точностью, чем, например, новичков.

Сокращение трудозатрат менеджеров

В случае низкой или слишком высокой эффективности кампании мы всегда проводим дополнительные исследования, чтобы разобраться, в чем причина неудачи или невероятного успеха. Эта работа может занимать несколько часов по каждой акции. После внедрения метода исключения аномалий мы наблюдаем сокращение кампаний, по которым необходима дополнительная проверка результатов. Метод помогает быстро найти причину отрицательного или слишком положительного результата. Примерно в 80 % случаев именно «аномальный» покупатель оказывается причиной искаженного результата.

Вывод

Управление эффективностью CRM-маркетинга невозможно без прозрачного замера чистого эффекта. Один и тот же сценарий может показывать очень разный эффект в разные периоды. Одной из причин этого могут быть «аномальные» клиенты.

Выявление и исключение таких аномалий как до запуска кампании, так и после позволяет получать достоверные результаты эффективности и снижает трудозатраты команды на поиски причин и интерпретацию результатов. Это особенно важно, когда существующие кампании показывают нетипичные результаты и возникает необходимость объяснить причины отклонений и пересмотреть сценарий кампании.

Поэтому мы рекомендуем использовать метод квартилей для выравнивания неоднородностей в сегментах перед разделением их на основные и контрольные группы. 

PS  Исключение аномалий – далеко не единственная «фишка», которую можно использовать для повышения точности замера эффективности. Расскажем об этом в других статьях. Следите за новостями и включайте лояльность!

Следите за новыми материалами в telegram