Результаты исследования технологии машинного обучения в программах лояльности

Поговорили с экспертами и разобрались как и зачем используется технология ML, а также какие у неё перспективы. Не забыли спросить “мнение” у Chat GPT

Про машинное обучение говорят на каждой конференции по маркетингу. Но какая «магия» скрывается за этим понятием? Как используется технология и какую практическую пользу она приносит в области клиентского маркетинга и программ лояльности?

Мы решили разобраться в теме и поговорили с экспертами в обработке данных. Для большей объективности мы задавали одни и те же вопросы и ритейлерам, которые внедряют у себя машинное обучение, и вендорам – компаниям, предлагающим ритейлу технологии ML. Не могли пройти мимо Chat GPT – задали те же самые вопросы “искусственному интеллекту”.

По итогам предлагаем вам не только общие выводы по результатам исследования, но и большое количество цитат. Всё это поможет вам разобраться в вопросе и составить своё мнение о том, нужно ли срочно брать технологии машинного обучения на вооружение. Или пока это просто очередной хайп.

Участники исследования

1. Общие итоги исследования

После первичного хайпа и последующего разочарования, технология машинного обучения в ритейле выходит на этап совершенствования и адаптации. 

Использование технологии для развития программ лояльности пока не носит массовый характер, и отношение к возможностям её применения неоднозначное. Тем не менее, все сходятся во мнении, что технология будет развиваться. 

Для того, чтобы технология работала требуется эксперты, которые разбираются в теме, могут поставить задачу и могут скорректировать ошибки, которые неизбежно возникают в процессе работы.

К оглавлению

2. Что понимается под машинным обучением / machine learning / ML

ЦИТАТЫ

Зоя Заславец / Manzana

• Мы оперируем тремя терминами: предиктивная аналитика, машинное обучение, искусственный интеллект.
• Машинное обучение — это такой класс алгоритмов, когда задачу, логику построения можно отдать уже самой машине, она сама себя обучает. Очень похоже на то, как работает и учится человеческий мозг

Виталий Митекин / Mindbox

• Машинное обучение — это широкий спектр алгоритмов, которые обучаются по историческим данным. Для этого могут использоваться методы от математической статистики (авторегресии и скользящего среднего — AR и MA) до нейронных систем машинного обучения. Все алгоритмы, которые используют исторические данные, чтобы как-то автонастроиться — всё это считаем Machine Learning.
• Нейросеть — это одна из математических моделей, используемых в современном машинном обучении для решения множества разных задач. . Модель универсальная и очень гибкая, концептуально представляет собой набор базовых элементов (нейронов) и определенным образом настроенных связей между ними. Ее можно натренировать на исторических данных под решение самых разных задач: предсказывать показатели, классифицировать и так далее. 

Евгений Семикашев / Retail Rocket

• Мы используем разную терминологию в зависимости от того, с кем общаемся. Это значит, что когда мы общаемся с командой, кто непосредственно будет работать с моделями или готовить датасеты, то, скорее всего, будем оперировать наиболее близкими по каноничному содержанию терминами. Когда же мы общаемся с клиентами, то можем немного мимикрировать под то, что понятнее клиенту.
• Датасет, набор данных — это, строго говоря, сырьё. Дальше мы, в первую очередь, определяем, каким образом они будут обработаны, и какая стоит цель. Разумеется, машина сама не определит цель. Но датасет — это данные из различных источников, которые принадлежат нашим клиентам.
• Я бы сказал, что машинное обучение – это то, что помогает принимать решения или принимает решения за человека на основе анализа данных. Для машинного обучения необходимо: 
  • Правильно выбрать инструмент, который будет использоваться. Это включает в себя класс машинного обучения, а их там десять разных. 
  • Нужна экспертиза человека, который будет этим заниматься.

Дмитрий Салабаев / SPAR

• Мало того, что терминология различается на функциональном уровне, так ещё и те же директора по маркетингу, директора по целевому маркетингу, руководители CRM-подразделений могут называть всё разными словами. 
• А есть же ещё уровень CEO или собственника, для которого предиктив, машинное обучение и вся эта история — это, скорее, какая-то модная штука. “У нас это есть. Мы молодцы. Мы продвинутые”. И есть коммуникация между руководителем подразделения и конечным заказчиком. Первый, как правило, пытается говорить то, что нравится второму.
• Машинное обучение – конкретное решение прикладных задач которое мы получаем, обрабатывая большие или близкие к большим данные, исходя из тех гипотез и фактических данных как покупатели повели себя в ответ на сформированное ранее предложение.
• Предиктивная аналитика – это попытка предсказать поведение и сформулировать это поведение на основе предыдущих данных. То есть, как мне кажется, предиктивная аналитика может быть без машинного обучения, когда у нас просто добавилась ещё неделя транзакционной и товарной активности, и мы построили новое предложение на следующую неделю.

Азамат Тибилов

• Есть лидеры рынка, которые давно занимаются машинным обучением: X5 Group, ВК, Яндекс, и так далее. Есть самые яркие личности, которые являются амбассадорами машинного обучения. Это Бабушкин Валерий, Хантер — ребята, которые очень круто доносят ценность продукта. В целом, у них одинаковое определение. Хочешь или не хочешь, но ты отталкиваешься от него.
• Поэтому всё достаточно просто. Есть искусственный интеллект, внутри которого есть машинное обучение. Машинное обучение в свою очередь подразделяется на различные нейросетки, различные алгоритмы, которые строятся из табличных данных.
• Data Science — это область машинного обучения. Мне кажется, люди не совсем понимают, что такое рекомендательная система. Что такое, условно, классификатор. Чем кластеризация отличается от классификации. Это всё области внутри самого Data Science.

Кирилл Фридлянд / Hoff

• Существует такая функция ETL. Это означает Extract, Transform, Load (загрузка и трансформация данных из исходных систем) и организация витрин данных для пользователя, для аналитики и в том числе для дата-сайентистов. То есть это извлечение и предподготовка данных. ETL – функция дата-инженера.  А дата-сайентисты — это люди, которые берут эти данные и исследуют их на предмет закономерности, строят прогнозные модели с элементами машинного обучения и так далее.
• Дата-сайентист делает предиктивные модели и исследования, а аналитик… у нас сейчас понятие «аналитик» настолько многогранное! Мы у себя переименовали ребят в разработчиков отчётности. Это люди, которые делают удобное и понятное предоставление информации для бизнеса (отчёты, дашборды, кубы), чтобы бизнес принимал решения.
• Я сейчас боюсь вас запутать, но для нас отдел предиктивной аналитики — это люди, которые на основе данных делают прогнозные модели: прогноз спроса, прогноз трафика, прогноз чеков.
• При разработке промо-акций прогнозная модель строится, в том числе, с помощью ML. На основе анализа прошлых акций с теми параметрами и на основе текущих параметров делают прогноз: продастся при такой скидке или при таких характеристиках и так далее. То есть там в том числе идёт чисто статистическая регрессионная модель, и более сложные математические, и ML, в том числе, Data Science.
• Нейросети, как метод, сейчас применяем только в одном месте. Для распознавания аналогов при сопоставление нашего ассортимента с ассортиментом конкурентов. Наш ассортимент, в основном, – это мебель. Если бы мы говорили про электронику, то сопоставление и мониторинг цен на смартфон такой-то модели сильно проще. А сравнить «угловой диван в тёмном цвете» с такой-то конфигурацией — совсем другая задача.

Иван Щесюк / Direct Service

• Если смотреть на вопрос широко, то существует понятие Data Science. Это область информационных технологий, которая занимается анализом данных. В рамках этого направления есть отдельные задачи по подготовке и обработке исходных данных, загрузке их в собственную базу данных, задачи по проектированию базы данных и задачи по анализу данных. К задачам анализа данных в том числе относятся и методы машинного обучения. 
• ML предназначено для решения задач посредством поиска схожего решения из большой выборки решений аналогичных задач. Для того, чтобы машина решала задачи, ее нужно обучить этому. В этом и заключается суть технологии решения задач с помощью машинного обучения – мы учим машину решать задачи, опираясь на опыт ее обучения. При обучении машины с одной стороны мы имеем группу ситуаций, а с другой группу реакций на данную ситуацию, но зависимость между ситуацией и реакцией на нее неявная. Задача машины выявить эту зависимость и применять ее при ответе на следующую ситуацию. Эта зависимость не всегда может быть описана аналитически, поэтому и требуются нейросети для определения решения.
• Ещё есть задачи, связанные с прогнозированием каких-нибудь событий в будущем. Их зачастую целесообразно решать с помощью методов предиктивной аналитики. Предиктивная аналитика опираются на  количественный статистический анализ – оценивает исторические и текущие события, чтобы выявить между ними взаимосвязь и предсказать вероятность события в будущем.
• Оба этих метода анализа данных относятся к методам интеллектуального анализа данных Data mining.

Chat GPT

• Машинное обучение – это область искусственного интеллекта, которая использует алгоритмы и статистику для автоматического поиска закономерностей в больших данных. Цель машинного обучения – построить модель, которая может предсказать будущие поведения и результаты на основе прошлых данных. Машинное обучение используется для построения различных видов моделей, таких как регрессионные, классификационные и кластерные модели.

3. Задачи, которое решает машинное обучение

ЦИТАТЫ

Зоя Заславец / Manzana

• Когда у вас есть один товар и куча клиентов, возможно, машинное обучение не нужно. Когда у вас 5–10 тысяч товаров и 3 миллиона контактов, то здесь невозможна ручная работа.
• Мы занимаемся персональными акциями. По сути это две связанные задачи –  какие товары предложить клиенту  (подбор товаров под клиентов) и каким клиентам предложить эти товары (подбор клиентов под товары)
• У нас есть одна большая, хорошо работающая, доказанная тема, связанная с подбором персональных товарных предложений. На основании истории покупок, истории обратной связи и кучи дополнительных факторов мы можем предсказать, какие товары могут быть интересны клиенту и их ему рекомендовать. Можем установить для этого клиента индивидуальный размер скидки и тем самым мы делаем индивидуальные акции, когда каждый клиент является отдельным сегментом. И не страшно, если клиентов миллионы.

Виталий Митекин / Mindbox

• В Mindbox есть четыре типа ML-алгоритмов:

1. Рекомендации. Подборки товаров для конкретного клиента или похожие товары на то, что уже смотрит клиент. 
2. Лучшее время отправки. Подсказывает, в какое время лучше отправить письмо, чтобы его прочитали и оформили покупку.
3. Лучшее следующее действие. Помогает понять, что лучше предложить каждому конкретному клиенту в следующий раз — скидку, купон, отправить информационное письмо.
4. Контроль за количеством сообщений. Отслеживает, не отправляет ли клиент слишком много писем по базе. 

• Я уверен, что в большинстве случаев опытный маркетолог сможет вручную, без всякого машинного обучения, подобрать отличные рекомендации к товару. И вполне реальна ситуация, когда в честных тестах такие ручные рекомендации показывают эффект лучший, чем ML. Проблема в том, что у некоторых наших клиентов больше полумиллиона товаров, и чтобы подобрать к каждому из них рекомендации понадобится 2-3 жизни маркетолога.
• Результаты ML отличаются в зависимости от сферы деятельности и специфики данных. В целом использование ML в рекомендациях помогает вырастить конверсию в 3–10 раз по сравнению с простой подборкой самых популярных товаров. Но важно помнить, что зачастую 90% клиентов, которым мы рассылаем рекомендации, не имеют достаточной истории покупок, чтобы обучить на них ML. В этом случае зачастую проще использовать те самые подборки популярных товаров.

Евгений Семикашев / Retail Rocket

• Для организации машинного обучения мы не можем ставить абстрактные задачи типа “скажи, какую маркетинговую кампанию провести”. Но можем подсчитать вероятность оттока клиента – с какой вероятностью он уже не придёт к вам в магазин, или с какой вероятностью он входит в коммуникацию. То есть те вещи, которые, не уникальны и уже много кем много раз решены.
• Сейчас машины не могут определять цели. Это всегда только средство поддержки решения задачи, которую ставит человек.
• Машинное обучение помогает оптимизировать бюджет коммуникации и помогает определить с кем надо и с кем не надо коммуницировать, с кем по дорогому каналу, а с кем по дешевому. Выводы базируются на прогнозировании LTV клиентов и вероятности их оттока. То есть клиенту не надо что-то отправлять, если с большой вероятностью, по нашей гипотезе, он сам придет в ближайшие 1,5 недели. Но с ним надо пообщаться не через e-mail, а СМС или вообще позвонить операторам контакт-центра, если у него потенциальный LTV находится на верхнем уровне.

Азамат Тибилов

• Для нас рекомендательная система — это продукт, который можно использовать в рассылках. Сейчас мы написали свой алгоритм, но, честно говоря, пока ещё не выкатывали его в тест у нас на сайте.
• У нас есть один стек алгоритмов. Это вероятность добавления товара в корзину и вероятность покупки. Мы используем его для определенной механики внутри нашего сайта. Плюс дополнительно к этому у нас ещё есть стек вероятность возврата в течение энного периода, вероятность покупки в течение энного периода. Это мы используем для оптимизации рекламных кампаний в рамках ремаркетинга/ретаргетинга.
• Второе направление — это то, что мы ищем какую-то тенденцию поведения пользователей. На основе данных, которые нам даёт ML, мы можем возвращать предикты и на основе этих предиктов давать скидку. Мы анализируем все подходы тоже через AB-тесты.

Кирилл Фридлянд / Hoff

• У нас есть так называемые промо-инструменты — там, где категорийный менеджер выбирает товары для акций. Соответственно, прогнозная модель строится, в том числе, с помощью ML. На основе анализа прошлых акций с теми параметрами и на основе текущих параметров делают прогноз: продастся при такой скидке или при таких характеристиках и так далее. То есть там в том числе идёт чисто статистическая регрессионная модель, и более сложные математические, и ML (Machine learning) в том числе Data Science.
• Мы предсказываем количество продаж, звонков и чеков, трафик — всё это вместе. На базе этих драйверов дальше строится расчет необходимой потребности в персонале. Не только продавцов, но и менеджеров, кассиров, операторов в call-центре.
• Сейчас наша задача для категорийных менеджеров или для отдела ценообразования — облегчить принятие решения. У нас много  СТМ – диваны, матрасы, кровати и так далее. Для того чтобы как-то мониторить наши цены, мы в рынке или не в рынке, нам нужно сопоставить это с нашими конкурентами. После того, как мы сопоставили, дальше зависит от того, какая это ценовая категория. Если это первая цена, лучшая цена, то понятно, что здесь мы должны быть не хуже наших конкурентов, предлагать лучшую цену. Например, базовые матрасы, базовая кровать или простая кушетка. Есть определённые категории. Если это премиум-сегмент, то понятно, что там будет своя ценовая стратегия. Мы можем быть выше на 10-20%. Если это ассортимент, который продается только в онлайне, а у нас в том числе маркетплейс, то мы смотрим, что у нас не должно быть с ведущими маркетплейсами большой дельты по цене, иначе все пойдут покупать к ним, а не к нам. Это одна часть ценообразования. Вторая часть. Например, по каким-то позициям у нас образовались оверстоки или ассортимент выводится из матрицы. Соответственно, нам тоже нужно дать покупателю оптимальную скидку с точки зрения эластичности спроса, чтобы реализовать этот товар в определенные сроки, а не продавать его годами. Вот ещё одна задача для дата-сайентистов: модель, построить эластичность спроса и дать некий прогноз или рекомендацию по скидке для того, чтобы реализовать этот товар в течение месяца.
• У нас есть проблема с управлением запасами, и в приоритете задача разработать с помощью дата-сайентистов модели которые будут прогнозировать спрос. Есть задача управления персоналом в магазине. Соответственно, нужно решить прогноз драйверов, который влияет на то, сколько кассиров нужно вывести в магазин, сколько будет чеков, посещений и так далее. На основе этого наше розничное подразделение планирует графики вывода продавцов, чтобы не было оголений в час-пик и так далее. Конкретный результат этого — экономия ФОТ.

Татьяна Гурненко / ЦФТ

• Машинное обучение в применении к программам лояльности может использоваться как для решения новых сложных задач с учетом большого количества данных, так и для автоматизации текущих алгоритмов с повышением качества продукта. Если первое направление требуется объемного исследования, включая проведения тестирования и проверки гипотез, то второе направление более понятно с точки зрения целей, затрат и бюджета. 
• Первые шаги у многих компаний связаны именно с целями автоматизации: заменой правил, придуманных маркетологами, на математические модели. Например, стоит задача оптимизировать бюджет акции по продаже товара Х и надо понять кому отправить коммуникацию. Текущими методами эта задача решается маркетологами через аналитику в excel и создание набора правил для выбора целевой аудитории. Уже очевидно, что математическая модель решает эту задачу быстрее и не хуже человека, и высвобождает человеческие ресурсы для новых творческих задач. 

Иван Комаров / ЦФТ

• Во-первых, когда мы говорим о маркетинге, мы говорим о рекомендациях. Самая простая вещь — рекомендовать самое популярное. Это может сделать аналитик или тот, кто выгружал вам из базы данных. Вы можете попросить его сделать ТОП100 товаров, например. Или те, которые вам нужно в это время продвигать. Вот вам рекомендации. Что здесь думать? Это раз.
• Во-вторых, что такое рекомендация, если мы говорим про ритейл? Это не работает в офлайне. Это штука, которая работает в онлайн. Почему? Потому что онлайн ограничен монитором. В нём очень мало места, и нужно разобраться, что мы туда положим. Это небольшой магазин, где мы всё выложили, и нужно выложить все оптимально, с т.з. прибыли.
• Вот есть группа покупателей, которая вам очень нравится. Вы говорите: “Найдите нам ещё таких. Постройте модель, чтобы она находила нам их”. Это называется Look Alike. Мы можем построить такую модель.
• Кластеризация тоже работает. У банков есть задача, чтобы люди не снимали наличные, а тратили. Мы раскладывали всех, смотрели и понимали, что у нас за группы есть, к какой группе можно отнести человека.
• Ещё есть две штуки, которые часто продаём – «отток» и Uplift. Нам поставили задачу: “Найдите нам тех, кто уйдёт в отток в ближайшие 3 месяца”. Мы построили модели – действительно нашли тех, кто собирался уйти. Uplift – это про то, как вернуть нам ушедших, т.е. необходимо придумать какую-то акцию. В таком случае, для построения модели нужно тесно работать с маркетингом и проводить эксперимент. 

Иван Щесюк / Direct Service

• Прежде всего ML нужен там, где необходимо устанавливать неявные связи (зависимость) между ситуацией и ответом на нее системы. Решение задач с помощью ML – это применение определенных математических подходов для выявления неявных зависимостей. 
• Не все задачи маркетолога нужно решать именно через ML. Приведу пример: на первом этапе, некоторой работой занимается профильный специалист. Когда бизнес масштабируется необходимо либо увеличить штат, либо переложить опыт специалиста в программные алгоритмы. В большинстве случаев автоматизация опыта профильных специалистов реализуются не средствами ML, а автоматизацией, программированием точной последовательности их действий.

Chat GPT

• Технология машинного обучения может помочь решить ряд задач в программах лояльности. Она может использоваться для анализа истории покупок и предпочтений клиентов, а также для автоматической персонализации предложений и рекомендаций. Она может помочь программам лояльности идентифицировать ключевых клиентов.

4. Мифы о машинном обучении

ЦИТАТЫ

Иван Щесюк / Direct Service

• О полной автономии системы от человеческого труда говорить не стоит. Но если правильно подойти к решению задачи, то внедрение ML действительно позволит сократить штатную численность отдельных подразделений. Наиболее яркий пример – повсеместное внедрение голосовых помощников и роботов по обзвону клиентской базы. Конечно после внедрения подобных систем работа человека не заканчивается, но переносится в более квалифицированную область. На смену множеству операторов колл-центра к вам приходит один или несколько дата сайнтистов.
• Безусловно при внедрении подобных сложных систем речь идет не об одном алгоритме, а о комплексном взаимодействии разных алгоритмов.
• Примеров, когда ML-модели производят полную автоматизацию бизнес-процессов компании не так много. Чаще всего повышение экономической эффективности бизнес-процесса происходит при подборе правильного инструмента для автоматизации – где то это ML, где то предиктивные модели, а где то другие программные алгоритмы. Чтобы  добиться именно экономической результативности от автоматизации необходимы сотрудники (или компании) с разносторонним опытом применения различных инструментов анализа. Иначе есть риск произвести “модную” ML-автоматизацию, которая на “открытой” системе покажет очень сомнительную результативность.

Зоя Заславец / Manzana

• Оказалось, что алгоритмы, с одной стороны, умные, а с другой стороны очень тупые, потому что они могут работать с определенной структурой данных. Данные нужно вычищать. До этого тебе нужно 10 раз подумать, какую структуру ты хочешь подать, за какой период ты хочешь считать эти показатели. Вот эта подготовительная работа. Алгоритм обрабатывает 20 минут, а до этого ты готовишь данные 3 дня.
• Если вы наймете какого-нибудь дата-сайентиста, и он сделает вам какой-то простой алгоритм, то это не выстрелит. В нашей теме подбора рекомендаций — нет. Мы так когда-то пробовали, тоже считали, что можно взять алгоритм и будет нам счастье. Но так работает плохо.  Поэтому сейчас у нас уже сложная модель. На первом этапе 4 алгоритма рекомендательных систем, которые рекомендуют по-своему: один с одной стороны, другой с другой стороны, третий в векторном пространстве, четвертый через кластеризацию. Эти рекомендации смешиваются, и формируется определённый список 100-200 товарных рекомендаций для каждого клиента. Далее запускается второй этап — дообучение. Еще одна моделька, которая в зависимости от заложенной цели (повышение ср чека или продажа маржинальных товаров или увеличение частоты покупок) может полученные рекомендации пересортировать, поднимая вверх товары, которые лучше соответствуют этим целям.

Евгений Семикашев / Retail Rocket

• Почему-то все думают, что, чтобы сделать нормальный инструмент машинного обучения, достаточно посадить двух математиков, которые сделают всё на коленке. Если обратиться к опыту X5, там 40 человек занимается только одним стримом, который прогнозирует, как будут продаваться товары, чтобы делать заказы. 40 человек обеспечивают одну, казалось бы, утилитарную вещь!
• Восприятие на рынке такое, что это делать просто. Поэтому в этом случае и поставщики делают просто. В реальности так и происходит: два математика сели и сделали. Что-то в пути между прототипом MVP и Production решением в том или ином виде сейчас появляются у всех.
• Нам иногда говорят: “Так как у нас есть очень богатые процессинговые инструменты, мы хотели бы, чтобы платформа, исходя из динамики продаж и с внешних факторов (любых фичей) сказала: “Маркетолог, проведи такую-то акцию”. То есть акция должна звучать так, она должна проходить в такие-то сроки, в таких-то регионах, должна устанавливать такую-то скидку на такие-то категории/группы товаров. И чтобы всё это было хорошо, давай сэкономим бюджет и отправим коммуникацию только тем клиентам, для которых она будет максимально релевантная”.

Виталий Митекин / Mindbox

1. “Главное подобрать крутую современную модель машинного обучения и скормить ей как можно больше данных. Классный результат получится автоматически” – нет, это не так. На практике, значимое время от работы Data Scientist – это ручная “чистка” данных от ошибок, балансировка данных, попытки получить от бизнеса более детальную информацию о данных. Разведочный анализ данных и очистка данных – не такая “модная”, но критически важная работа для успеха ML.
2. “Если работает ML, то даже не нужно пытаться понять, как оно принимает решения. Всё сложно” – частично этот миф правдив. Некоторые модели машинного обучения очень тяжело “разобрать” и интерпретировать. И отчасти поэтому в банковской и медицинской сфере избегали применения нейросетей для принятия решений – эти решения нельзя проверить и интерпретировать. Но всё же существуют техники и алгоритмы ML explainability, позволяющие “заглянуть” внутрь работающей модели ML и понять, на основе каких факторов она принимает то или иное решение.

Chat GPT

• Машинное обучение может заменить человека.
• Для использования машинного обучения необходимо огромное количество данных.
• Машинное обучение требует дорогостоящего оборудования.
• Для использования машинного обучения необходимо быть экспертом в программировании.
• Результаты машинного обучения всегда точные.
• Машинное обучение может полностью заменить человеческий интеллект.
• Машинное обучение не может обрабатывать неструктурированные данные.

5. Совершает ли машинное обучение ошибки

ЦИТАТЫ

Виталий Митекин / Mindbox

• Чтобы обучить ML нужны данные о действиях: покупках, кликах, просмотрах. Если у клиента в ассортименте 200 тысяч товаров, но есть информация только о тысяче покупок, то ML не сможет обучиться и делать точные предсказания. 

Дмитрий Салабаев / SPAR

• Ошибки в рекомендациях бывают. На них обращаем внимание. В какой-то момент предпринимали попытку дооснастить мобильное приложение возможностью получения прямой обратной связи от самого пользователя: нравится/не нравится предложение; больше не предлагать товары из этой категории. Но, к сожалению, по ряду инфраструктурных причин, в силу сложности и дороговизны решили от этого отказаться.

Зоя Заславец / Manzana

• Есть ошибки логики машины. Чем больше продается товар, тем больше он образовывает связей с другими товарами, соответственно, тем чаще он будет попадать в рекомендации. Как бы не было банально, но лучше всего машина умеет рекомендовать то, что продается и так хорошо. 🙂
• И еще, машина формирует рекомендации с некоторым опозданием, ведь она учится на совершенных покупках, а не на будущих. Вот пример –  перед Пасхой, особенно в христианских странах, куличи, яйца, творог выходят на пик покупок. Машина видит, что они не продавались-не продавались, потом произошел пик, юди стали их массово покупать. Но обычно рекомендовать до события для машины сложно, поэтому она начинает предлагать больше яиц, творога, куличей уже после Пасхи. Машина учится рекомендовать эти товары после пикового спроса. Не до, а после пика, потому что они начинают появляться в продажах, образовывать связи и появляться в рекомендациях. В принципе, с этим можно жить, если знать как. Например, можно заложить регулярные праздники и сезонность. 
• Еще Вы не заложите в алгоритм какие-то форс-мажорные обстоятельства, которые происходят в моменте. Когда случаются какие-то события типа пандемии или специальной операции, когда поведение людей меняется, и они начинают массово закупать нетипичные товары…

Иван Щесюк / Direct Service

• Задачи, которые ML может эффективно решать обладают свойством, которое мы называем принадлежностью к “закрытым системам”. Мы заимствуем термины “закрытой/открытой системы” из физики. “Открытые системы” испытывают влияние внешней среды, а не только той среды, которую мы анализируем с помощью ML. Поэтому построение неявных связей в “открытых системах”, к которым относится и поведение покупателей,  имеет высокую вероятность ошибки. 
• Чаще всего ошибки происходят, когда с помощью ML пытаются решить задачи, которые целесообразнее решать с помощью предиктивных моделей и других программных алгоритмов. В основном это задачи относящиеся к данным из “открытых систем”. Это даст более высокий экономический результат при сопоставимом бюджете разработки.
• События глобального масштаба тоже могут приводить к ошибкам. Например, пандемия изменила стратегию развития ритейла во многих аспектах, в том числе ускорила переход пользователей в онлайн. В таких ситуациях необходимо обогащать ML-систему новыми данными, чтобы она учитывала новые обстоятельства.

Азамат Тибилов

• Когда наступает лето, мы замечаем, что как только идет сильное потепление, люди идут и покупают у нас летние модели обуви. Мы это понимаем. Мы это видим. Но мы не смогли прикрутить погоду к нашим алгоритмам. К сожалению, не получилось. С другой стороны, зачем оно нам нужно, если поведение пользователя на сайте само по себе показывает, готов человек покупать или не готов. Зачем нам еще погода?
• У нас ещё есть алгоритм, который предсказывает покупку в течение энного периода, например 7 дней, строит некоторый тренд поведения пользователей. Сейчас мы с Вами разговариваем, и я задумался о том, почему бы нам на следующие 7 дней не попробовать наложить погоду и посмотреть, как это влияет на покупки.

Chat GPT

Да, машинное обучение может совершать ошибки. Это происходит из-за недостаточно большого объема данных, недостаточной точности алгоритма или других причин. Ошибки могут быть минимизированы с помощью правильного обучения и проверки результатов.

6. Роль эксперта на стороне ритейлера в развитии сервисов машинного обучения

ЦИТАТЫ

Евгений Семикашев / Retail Rocket

• Сейчас машины не могут определять цели. В настоящий момент это всегда только средство поддержки решения задачи, которую определяет человек.
• Экспертиза редко бывает лишней. Особенно если мы говорим о каких-то технологических отраслях. Сначала, в первую очередь, необходима экспертиза по сбору данных. Не каждый поймёт, какие данные надо собирать, а какие данные мусорные. Не каждому вообще придёт в голову, что какие-то данные могут иметь корреляцию вообще. То есть сначала экспертиза появляется на этапе сбора данных. Потом должна быть экспертиза при формулировке задачи: что должна делать машина в этом случае; что она должна обеспечивать, какую задачу решать. И, разумеется, валидировать эти результаты. Как Вы уже знаете, любое машинное обучение и решение любой задачи — это очень-очень итеративный процесс… Экспертизой должен обладать тот человек, который получает результаты работы машинки и как-то их использует.

Иван Щесюк / Direct Service

• Для того, чтобы добиваться наилучшего результата при решении аналитических задач типа Big Data нужна экспертиза человека для выбора наиболее предпочтительного метода анализа данных.
• Вендору при разработке своих продуктов нужно понимать специфику бизнес-процессов ритейлера. Внедрение шаблонных ML или других алгоритмов без адаптации к специфике бизнеса имеет низкую эффективность.
• У сотрудников вендора есть знания как правильно реализовывать ML или другие аналитические алгоритмы, у сотрудников ритейлера есть знания специфики их бизнеса. Высокие результаты достигаются, когда эти знания работают в синергии.

Игорь Калиновский / mindbox

• Я считаю, что пока в конкретном бизнесе не будет человека, который понимает, как нужно развивать маркетинг данных, никакой ML не поможет. Его можно встроить, он даст какой-то базовый уровень. Наверное, лучше, чем ничего. Но это не позволит больше зарабатывать, делать свой маркетинг лучше. То есть это будут стандартные штуки, которые предоставляют вендоры на основе какого-то опыта, но это не позволит добиться исключительных результатов. Это позволит добиться средних результатов, как мне кажется. ML в этом плане будет развиваться вместе с развитием рынка и маркетологов. То есть чем в среднем лучше на рынке умеют делать маркетинг, тем лучше будет ML.

Азамат Тибилов

• Я могу залезть в код алгоритма, посмотреть, что там ребята написали, но боюсь, что они разбираются в коде лучше меня. Но я ставлю задачи с точки зрения бизнеса, потому что с точки зрения бизнеса я лучше знаю, что необходимо. Я понимаю, что значит та или иная метка в разрезе какого-то алгоритма. Эти метрики мне дают понимание того, насколько это точно, насколько это подходит бизнесу и стоит ли тестировать это после написания.
• Всё зависит от того, кто ставит задачу. Придёт человек, поставит иную задачу или скажет: “У нас машинное обучение не работает. Убираем это к чёртовой матери! Убираем отдел, сокращаем касты, и всё дальше хорошо работает”.  А может быть, придёт другой человек и скажет: “Это всё прекрасно работает. Давайте усиливать и брать больше народа”. У разных людей всегда разные подходы.

Кирилл Фридлянд / Hoff

• С одной стороны, темы Data Science и машинного обучения хайповые и важные. Но здесь со стороны руководства действительно нужно чётко понимать, где его можно применить. Потому что иногда изыскания могут быть очень дорогими и ресурсоёмкими. А по факту мы не получим никакого выхлопа. То есть от руководства нужно понимание, где мы можем применить, поддержка изысканий, понимание, что это не сразу получится, что это поиск и проверка гипотез. Это не готовое ТЗ, которое можно просто отдать разработчику на стандартное программирование, проверить выполнение и получить результат. Здесь имеет место поиск решения, поиск параметров, постоянное изыскание.
• Есть просто математика, когда дата-сайентист приходит без какого-то бэкграунда, знания бизнес-процесса, специфики бизнеса и пытается просто на уровне цифр сделать какую-то модельку. Это один уровень. Второй уровень — когда вместе с бизнесом, либо когда дата-сайентист имеет опыт в определённых бизнес-процессах и может что-то добавить. Если человек пару лет работает вместе с бизнесом, то уже чувствует процессы. Когда со стороны бизнеса в самом начале идёт поддержка и понимание, какие гипотезы проверить, это, конечно, работает в плюс.

Татьяна Гурненко / ЦФТ

• Роль экспертов в сервисе машинного обучения высока. Разработка моделей, обучение, тестирование, оптимизация моделей под задачи клиента требует квалифицированных IT кадров. Проекты с машинным обучением могут выполняться как внутренними командами, так и внешними командами. Не зависимо от этого необходимо будет выстраивать тесные коммуникации с командой аналитиков или маркетологов, которые владеют предметной областью, могут поставить задачу, провести нужные АВ тестирования и обработать результаты. 
• Набрать команду data scientist-ов, не самая сложная задача. Такая команда разработчиков, как правило, в обозримо небольшие сроки сможет выдать тестовые модели для использования. Готовая слаженная команда всегда будет в выигрыше по результату, который вы получите.  
• Не стоит забывать о том, что понадобятся дополнительные усилия для организации проекта как такового: от построения инфраструктуры поставки данных в модель и использования моделей до сбора и оценки результатов. С более квалицированной командой результат будет лучше. 

Иван Комаров / ЦФТ 

• Хотелось бы дать новые инструменты маркетологу. Поэтому эта связь с маркетингом очень важна. Маркетолог делает по-своему, и ему даже не очень хочется всё это машинное обучение. Потому что у него есть нормальная работа, он что-то делает, рассчитывает, акции придумывает. Машинное обучение не копирует маркетолога. Оно берёт какие-то идеи и делает это через данные.

7. Как оценивать эффективность ML, есть ли конкретные примеры

ЦИТАТЫ

Дмитрий Салабаев / SPAR

• В силу того, что наш поставщик не знает себестоимость, не знает систему ценообразования, он не может показывать нам в своих отчёт уровень доходности по покупкам участников программы лояльности, которые пользуются акциями. Мы должны за счёт среднего размера скидки, например, или общего размера скидки, который мы предоставили этим покупателям, понимать, насколько много мы потеряли из-за этой активности, и делать для себя определённые выводы, сопоставляя с тем, сколько мы прирастили.
• В некотором смысле, мы относимся к этой истории как к “чёрному ящику”. Мы понимаем основные принципы, по которым работает сервис. В целом, мы верим коллегам, что там внутри есть машинное обучение, но для нас принципиальны результаты и эффективность той или иной механики. Плюс некоторая гигиеническая история про то, что с точки зрения покупателей, спроса, продвинутости наиболее активной и наиболее лояльной у каждой сети аудитории, рынок привык к тому, что должна быть какая-то персонализация. Есть там машинное обучение сейчас или они создают его видимость? Это момент надо понимать. Пока мы не пытаемся заглядывать внутрь. Пока мы смотрим на верхнеуровневые показатели. Отчасти это обусловлено тем, что пока у нас нет соответствующей функции и компетенции. Но, думаю, через некоторое время мы к этому придём.

Азамат Тибилов

• Были попытки поработать с {вендор} — мы не получили каких-то качественных улучшений. Попробовали поставить рекомендательную систему {вендор} к нам на сайт — тоже не получили каких-то хороших, качественных улучшений. Однако AB-тесты показали что с рекомендательной системой в рассылках мы получаем значительно более качественные метрики: такие как Open Rate, Click Rate и, конечно же, конверсии с каналом как раз по данным блокам. 

Виталий Митекин / Mindbox

• Не всегда «техническая» эффективность модели означает пользу для бизнеса. Так, мы построили модель, которая предсказывала отток отдельных покупателей. Но эти предсказания оказались бесполезны с точки зрения бизнеса. Алгоритм помогал найти сегмент клиентов, которые с большой вероятностью уйдут в отток, а затем мог отправить им письмо со скидкой или специальным предложением. Когда мы тестировали разные варианты писем, то не увидели, что алгоритм помогает бизнесу: приносит дополнительную выручку, увеличивает конверсии или еще какие-то метрики. После тестирования разных вариантов пришли к выводу, что этот алгоритм не будет полезен клиентам. Какую бы вероятность, какой бы сегмент, какие бы письма мы ни отправляли — он не помогает бизнесу вернуть отток. Поэтому мы от него отказались. Поэтому от компании, использующей ML, очень многое зависит: как она может использовать результаты моделирования? Не поздно ли она использует ML для принятия решений?

Иван Комаров / ЦФТ 

• Тут никакого секрета нет, оценка эффективности проекта оценивается аналогичным способом, как и любой проект с внедрением новых технологий. Надо оценить какой результат получили и сколько ресурсов потратили. 
• Надо понимать, что машинное обучение применимо к задачам для нахождения быстрого оптимального решения в кратчайшие сроки на большом объеме данных. Если данных недостаточно, или они не консистентны, то результат может быть не удовлетворителен. Все эти нюансы выясняются на этапе анализа проекта, или тестирования модели.  
• Наши рекомендации – выполнять проект по шагам и оценивать эффективность на каждом шагу. Поставьте цель, проведите аналитику данных, создайте тестовые модели, протестируйте решение, на основе результатов принимайте решение корректируя цель. Решения в таких проектах получаются всегда творческие и интересные. 

Иван Щесюк / Direct Service

• Стоит понимать, что ML это одно из решений, которое можно получить но не единственное во всей палитре возможных решений. Большинство аналитических задач, решаемых в бизнесе в первую очередь решаются программированием определенных алгоритмов, а после отдельные этапы этих процессов или весь процесс пытаются оптимизировать с помощью ML. 
• Поэтому эффективность решения с помощью ML как правило всегда можно сравнить с аналогичным решением на смену которого оно приходит.

Chat GPT

• Эффективность машинного обучения можно оценивать с помощью метрик качества, таких как точность (accuracy), полнота (recall), полнота первичного предсказания (precision) и т.д.
• Примеры: 1. Точность (accuracy): это доля правильных предсказаний, которые дает модель. Она вычисляется как отношение правильных предсказаний к общему числу предсказаний. 2. Полнота (recall): это доля правильных предсказаний из общего числа правильных предсказаний. 3. Полнота первичного предсказания (precision): это доля правильных предсказаний из общего числа предсказаний. 4. Функция потерь (loss function): это мера, на которую модель оценивает качество своих предсказаний. Она вычисляется как разница между предсказанными и фактическими значениями. Чем ниже функция потерь, тем лучше предсказания модели.

8. Состояние и перспективы развития рынка машинного обучения

ЦИТАТЫ

Азамат Тибилов

• Я думаю, что идёт активная фаза развития. Раньше не все понимали, как это работает, но гиганты приучили нас этим пользоваться. Например, когда я захожу в условное приложение «Яндекс.Еды», то получаю соответствующие предложения, которые мне прекрасно подходят. Очевидно, что сделать всё это руками сложно. Проще обучить алгоритм, который будет определять желания человека и давать ему те продукты, которые он хочет. Или тот же «Яндекс.Такси». Мы же прекрасно понимаем, что это продукт, который практически полностью построен на алгоритмах. В Москве уже невозможно передвижение без «Яндекс.Такси». В есom уж, тем более, всё идёт в сторону персонализации и более точных отношений между продавцом и покупателем.
• Что будет дальше – сложный вопрос. У нас планы меняются каждый месяц, исходя из происходящего в стране. Была идея реализовывать очень сложные интересные механики в Facebook, но эта история сломалась. Для нас Facebook был очень сильным каналом трафика, и в целом мы понимали, что усилие этого канала с помощью тех алгоритмов, которые мы делаем, может дать улучшение. Вторая история – мы планировали в Яндексе всё делать на основе LTV… То есть усложнять алгоритмы, усложнять постановку задач. Делать не что-то простое, связанное с “купит/не купит, вернётся/не вернётся”, а рассчитывать более сложные метрики и подходить к этим метрикам с помощью наших алгоритмов, то есть углубляться. 

Зоя Заславец / Манзана

• Это уже как некая данность. С одной стороны массовость использования частично снимает вопросы эффективности. С другой стороны, я как маркетолог с 20-летним опытом работы могу сказать, что это очень эффективные техники. Эффективнее целевого маркетинга, когда нужно работать с сегментом. Всегда стабильно высокий результат. Не помню ни одной неэффективной волны, когда контроль отрабатывал лучше тестовой группы. А в целевом маркетиге это частая история. Мы знаем, что какая-то часть акций будет не очень эффективной, но предсказать, какая именно, не можем.

Иван Щесюк / Direct Service

• Проектов которые используют исключительно ML на данный момент немного. И не будет много в ближайшем будущем в силу того, что бизнес-процессы, которые результативно автоматизирует ML, опираются на данные “закрытых” систем. На данном этапе развития систем сбора информации узкое количество бизнес-процессов опирается на подобный тип данных. Экономически более целесообразно оперировать различными алгоритмами анализа данных, которые включают и предиктивные модели и другие программные алгоритмы. Правильно подбирая инструмент к задаче можно получать высокую экономическую отдачу от автоматизации различных бизнес-процессов.

Виталий Митекин / Mindbox

• Я считаю, что вокруг машинного обучения и искуственного интеллекта огромный хайп и ореол завышенных ожиданий: «Давайте возьмем ChatGPT, чуть донастроим, и он заменит нам все частные алгоритмы». К сожалению, такого «универсального ML» сейчас нет и не предвидится. Хайп постепенно спадет. Реальные передовые алгоритмы машинного обучения очень сложны в настройке и поддержке, они «заточены» под особенности данных конкретной компании. Рекомендательную систему «Яндекс.Услуги» нельзя просто перенести на данные HeadHunter, и наоборот. Почти все крупные компания годами совершенствуют свои системы ML в маркетинге. 
• Для небольших компаний, например сетей спортивных магазинов, сервисов доставки,  подобные «тяжелые»  разработки не по карману.
• При этом, фактически, альтернативы ML для крупных и уже даже средних предприятий нет. Маркетолог не разметит 500 тысяч товаров вручную. И 5 маркетологов не разметят. Тут может помочь только ML.

Евгений Семикашев / Retail Rocket

• Ультрахайп, который был 3–4 года назад, был очень наивным. Все увидели, как нейросети работают с изображениями или генерируют музыку и сказали: “Ничего себе! Скоро мы все останемся без работы”.  Реальность, конечно, не такова. Сейчас в медиаполе всё успокоилось. А с другой стороны, серьёзные ребята собрали команду по 40 человек и пилят то, что увеличивает им некий показатель на х% и даёт реальную прибыль.
• Очень хотелось бы “пощупать историю”, чтобы когда пользователь создаёт у нас маркетинговую кампанию, мы могли ем сказать: “Слушай, мы думаем, что она принесёт столько-то денег”. Чтобы пользователь мог смоделировать то, что он делает. Например, он поменял глубину скидки с 11% на 13%, и на основании тех данных, которые у нас есть по продажам, по скидкам, по товарам, которые к ним подходят, мы скажем: “В этом случае она принесёт больше выручки, но ROI снизится”.  

Дмитрий Салабаев / SPAR

• Одни с этим носятся, а другие это отрицают. Я слышу о каких-то решениях, которые есть на рынке. При этом я знаю, что внедрений мало. Половина сразу отсеивается, потому что считает, что это ерунда, не работает, перегрето. Отношение к этому, как к блокчейну.
• Запуск предиктива – это как некий новый запуск после запуска самой программы лояльности. Это как второй прыжок с парашютом. А второй раз сложнее, потому что знаешь, что будет. Эта сложность может некоторых останавливать. Запускать лояльность было непросто. Но мы были такие решительные, понимали, чего хотим и зачем это делаем, поэтому ли в это. Шли через пилоты, через долгое обсуждение того, как считать. В предиктиве будет то же самое. Поэтому вендор не может убедить нас словами: “Просто подключите сервис, и будет вам счастье”.
• Безусловно, нам хотелось бы сделать всё чуть разнообразнее, чем есть сейчас. От плоских по форме предложений перейти к возможности транслировать что-то в бонусном формате, что-то в виде поощрения на категории, на конкретный товар. В общем, чтобы механизм был более гибким. Сегодня мы реализуем подобную механику на своей стороне, вне решения от поставщика лояльности.
• С точки зрения целевой картинки с подрядчиками было бы здорово иметь больше одного подключения, и чтобы тарификация производилась по принципу “кто лучше отработал”. Есть некоторые ключевые показатели, на которые мы ориентируемся. Есть определённое разделение аудитории между сервисами. Дальше, может быть, дискуссия: должны ли они одинаково и по форме генерировать предложение или каждый сервис может формулировать конкретные офферы в силу своих возможностей. Скорее, мы здесь будем ограничиваться тем, что умеет процессинг лояльности и CRM, какие правила там могут быть настроены. Но с точки зрения того, какие данные используются, выходит ли сервис за пределы того, что накапливается о покупках и смотрит на какие-то реально большие данные из окружающего мира, — это уж точно, пожалуйста, кто чем горазд. Наверное, из этого и формируется итоговый результат. По сути, мы платим тому или в той пропорции в зависимости от того, какой сервис в какой период времени был эффективнее.

Кирилл Фридлянд / Hoff

• Сейчас ситуация немножко подуспокоилась, либо я уже не обращаю внимания. Но сначала было много хайпа на тему Data Science, моделей и так далее. Мы много общались с коллегами из BigData {федеральной продуктовой сети}. Даже там много идей не получили дальше практического применения, не пошли в регулярное использование.
• В будущем, думаю, будет больше практических решений. Может быть, наконец-то это будет восприниматься просто как инструментарий, а не какой-то хайп, и всё перейдёт в плоскость практических решений. Плюс, возможно, на рынке начнут появляться более изолированные и применимые решения. Понятно, что не каждая компания может позволить себе содержать DataScience команду.
• У нас плохо работают прогнозы. Если мы говорим про продукты питания, то там очень много статистики смежной от конкурентов, плюс вы продаёте молоко, сок и так далее… У него достаточно высокая частотность продаж. В нашем случае ассортимент, особенно мебель, сильно более разнообразный, и частотность ниже. Предсказывать продажи и строить хороший прогноз сильно сложнее, поэтому у нас уровень точности сильно ниже, чем у продуктовых сетей, и у нас там есть над чем поработать.

Chat GPT

• Рынок машинного обучения в области программ лояльности имеет большой потенциал развития. Использование машинного обучения позволяет предприятиям более эффективно анализировать данные о поведении покупателей, а также предлагать более персонализированные программы лояльности. В будущем мы можем ожидать развития интеллектуальных алгоритмов, которые помогут предприятиям более эффективно проанализировать данные и адаптировать программы лояльности к индивидуальным потребностям клиентов. Также можно ожидать развития более эффективных систем аналитики, которые помогут предприятиям лучше понимать и использовать данные о покупателях для улучшения программ лояльности.

9. Портрет идеального вендора

ЦИТАТЫ

Зоя Заславец / Манзана

• Тут все банально – чем больше опыта, тем лучше.Чем больше клиентов – тем лучше.

Дмитрий Салабаев / SPAR

• Отвечу с бизнесовой точки зрения. Персональные предложения в дополнение к базовой механике программы лояльности и регулярному промо сети – дополнительная нагрузка на маржинальность продаж. Для того, чтобы убедить заказчика в эффективности работы такого инструмента “идеальному” вендору нужно быть готовым работать в партнёрском формате: если зарабатываем, то вместе, если теряем, то оба. Конечно, в первом случае речь не о том, что вендор зарабатывает пропорционально доходу ритейлера, а во втором – не о возмещении убытков. Гонорар должен быть справедливым, а отсутствие положительного эффекта компенсироваться отсутствием гонорара в соответствующем периоде.

Иван Комаров / ЦФТ

• Вендор (или это будет внутренняя команда) должен тесно работать с маркетологами. Одни хорошо понимают цели и бизнес, другие хорошо умеют анализировать данные. Если до этого никогда не использовали методы дата-сайенс, то нужен человек с опытом в ритейле для организации пилотного проекта.

ChatGPT / Open AI

• Идеальный разработчик систем машинного обучения должен иметь сильные навыки в программировании, а также знания и опыт в области математики, статистики и алгоритмов. Он должен быть в курсе современных инструментов, технологий и методов машинного обучения, а также иметь понимание бизнес-процессов и проблем, которые могут быть решены с помощью машинного обучения. Он должен быть способен оценить результаты своей работы и иметь понимание и знания о принципах и методах анализа данных.

10. Портрет идеального заказчика

ЦИТАТЫ

Зоя Заславец / Манзана

• Нужен большой ассортимент и большая клиентская база с транзакциями, тогда алгоритмы смогут хорошо обучиться.
• Еще хорошо бы иметь хорошие картинки товаров.
• Чем чётче задача, тем лучше результат.

Дмитрий Салабаев / SPAR

• У проекта должен быть менеджер, у менеджера должна быть мотивация не только на запуск, но и на эксплуатацию решения – здесь всё просто. В этом случае и партнёрская модель становится более жизнеспособной, потому что в ней задействованы не только два бизнеса, но и ответственный сотрудник, через которого строится коммуникация с вендором и заинтересованными профильными службами заказчика (коммерция, финансы, аналитика и т.п.). В этой роли, скорее, должен выступать менеджер ПЛ. И во время внедрения и в процессе эксплуатации нужен ресурс аналитика. Финансисты, как всегда, будут полезны своим критическим взглядом на эффективность инструмента, но желательно добиться от них конструктивной критики, участия в процессе согласования критерием оценки эффективности. От коммерческой службы должен быть кто-то, может быть, не проактивный с точки зрения участия в проекте, но осведомлённый с точки зрения принципа работы сервиса и способа оценки его эффективности. Кто сможет адекватно воспринимать данные из регулярных отчётов в процессе эксплуатации и транслировать доверие к этим данным своим коллегам.

Иван Комаров / ЦФТ

• ML нужен, когда есть много данных, и мы боремся за проценты. Это и определяет портрет заказчика. Мы живем в мире ML последние 7–10 лет. Поэтому команда, которая работает с данными у ритейлера уже может быть. Остаётся вопрос – насколько эффективно работает команда и нет ли смысла создать конкуренцию?
• Если же вы ещё не использовали ML, то стоит попробовать. Как я уже говорил, просто занимаясь анализом, можно придумать что-то прорывное для бизнеса.

Chat GPT

• Идеальный заказчик в области машинного обучения должен быть открытым и готовым к изменениям.
• Он должен понимать и принимать во внимание тонкости и возможности машинного обучения. Он должен иметь достаточно знаний и опыта для того, чтобы понимать и разбираться в особенностях решений в области машинного обучения. Он должен быть готов принимать решения на основе разумных и обоснованных данных. Он должен быть готов инвестировать время и ресурсы в изучение и понимание решений в области машинного обучения. Он должен иметь понимание того, как машинное обучение может быть использовано для достижения бизнес-целей и принимать решения в соответствии с этими целями.

К оглавлению

Исследование провели

Следите за новыми материалами в telegram