Как мы на 50% сократили траты на SMS при помощи ML-алгоритма

Первый заем MoneyMan выдает под 0% — зарабатывать бизнес начинает со второго. Поэтому главная задача прямого маркетинга — повысить конверсию в повторную заявку. Самый конверсионный канал — SMS, но его стоимость с каждым кварталом становится выше.

Чтобы сократить затраты, в компании внедрили ML-алгоритм. Он отбирает клиентов, которые с наибольшей вероятностью оформят повторную заявку, — и только они получают SMS. Чтобы убедиться в корректной работе алгоритма, использовали встроенные AB-тесты Mindbox. Они позволили не ждать аналитиков и разработчиков и сэкономили компании месяц работы.

Опыт MoneyMan будет полезен бизнесу, который внедряет модели на машинном обучении и ищет способы их быстро и дешево тестировать.

Руслан Салихов, Head of direct marketing MoneyMan:

«Команда прямого маркетинга постоянно формулирует новые гипотезы — в их тестировании помогает Mindbox. Одна из таких гипотез — использовать ML-алгоритм, чтобы повышать конверсию в повторную заявку. Он отбирает 50% клиентов, которые подходят под условия предстоящей рассылки.

Теперь клиент получает SMS, только если набирает достаточное количество баллов по скор-модели. Это позволяет экономить 50% бюджета на SMS без снижения конверсии. Оставшиеся деньги можем использовать для тестирования других гипотез, проведения новых акций.

Благодаря Mindbox нам удалось протестировать ML-алгоритм без привлечения ИТ-ресурсов. Если бы в платформе не было встроенного функционала AB-тестирования, нам пришлось бы проверять эффективность алгоритма своими силами. Это бы заняло минимум месяц: сначала пройти спринт бизнес-аналитиков, потом разработки. А с Mindbox было достаточно нескольких часов работы CRM-маркетолога: выбрать нужный сегмент и настроить AB-тестирование рассылок. И потом подождать 2–3 недели для получения статистически достоверного результата.

Думаю, Mindbox подойдет любой компании, если ей важно выстроить персональные коммуникации с клиентами, учитывать их частоту и проводить достоверные AB-тесты. Большой плюс Mindbox в том, что он продается не просто как платформа, а как платформа плюс сервис. Это и хорошая служба поддержки, и возможность обсудить с менеджером, как решить ту или иную задачу. А если решения нет, получить информацию от продуктовой команды, планируется ли доработка и в какие сроки».

Почему решили использовать ML-алгоритм, как его разрабатывали и как он действует

Задача алгоритма. Мы хотели определить, какие клиенты лучше откликаются на SMS. Можно было провести тесты для  каждого RFM-сегмента по очереди. Но тогда пришлось бы проверить слишком много гипотез — задача растянулась бы во времени. Решили использовать машинное обучение.

Разработка. Разрабатывал модель наш аналитик на базе сторонних решений. Для обучения модели выгрузили из бэкофиса клиентов с погашенным займом и без блокирующих факторов, например удаления личного кабинета. Затем на основании результатов нескольких рассылок выделили три группы:

1. Те, кто получил SMS с предложением повторного кредита и оформил его в течение трех дней. Диапазон в три дня выбрали потому, что столько времени у нас проходит до следующей массовой рассылки. На last click не ориентируемся: считаем, что клиент необязательно переходит из SMS, чтобы оставить заявку.
    
2. Те, кто получил SMS с предложением повторного займа, но не оформил его в течение трех дней. Смотрим на наиболее актуальные данные: если клиент один раз после SMS оформил повторный заем, а следующие сообщения проигнорировал, то попадет во вторую группу.
    
3. Те, кто не получал SMS с предложением повторного займа, но все равно оформил его. Разделение на группы позволило вычленить клиентов, которым имеет смысл отправлять SMS, чтобы повысить их конверсию в заявку. Затем аналитик изучил этих клиентов, выделил их социально-демографические и поведенческие характеристики и загрузил в ML-модель. Модель определила, какие из этих характеристик сильнее всего влияют на конверсию в заявку.

Для отладки сделали несколько подходов: на основании прогноза модели формировали сегмент для рассылки, затем снова загружали ее результаты в модель. На всю работу ушел примерно месяц.

Принцип работы. Каждую ночь ML-алгоритм анализирует сегмент с погашенными займами за последний год без блокирующих факторов и присваивает каждому клиенту значение от 0 до 100, где 0 — минимальная вероятность конверсии, а 100 — максимальная. Если клиент раньше брал займы без напоминания, он не получит SMS.

Затем данные передаются в Mindbox — у клиентов проставляется соответствующее значение в дополнительном поле (необязательное поле в профиле, куда можно зашить нужную компании информацию).

Клиент попадает под условия массовой маркетинговой рассылки, но получает SMS только в том случае, если ML-модель присвоила ему больше 50 баллов.

Как убедились в корректности ML-алгоритма с помощью AB-тестирования Mindbox

Марина Кочеткова, CRM-маркетолог MoneyMan:

«Алгоритм разработали до подключения Mindbox — около двух месяцев он работал с другой платформой клиентских данных. К моменту интеграции с Mindbox нужно было снова проверить корректность алгоритма из-за того, что изменились условия выдачи займов: правила ЦБ и наша политика скидок. Это могло повлиять на поведение клиентов.

Необходимо было проверить эффективность ML-алгоритма, но прежде — убедиться в том, что функционал AB-тестов Mindbox работает корректно. Для этого провели AA-тест: разделили получателей SMS на две группы и отправили им одинаковое сообщение. Если между группами нет разницы в конверсии, то разделение происходит случайным образом. Тест это и показал со статистической достоверностью 95%. Затем провели AA-тест еще два раза с аналогичным результатом».

Для тестирования самого алгоритма разделили получателей SMS с предложением повторного займа на три группы:

1. 80% сегмента попали под действие алгоритма и получали SMS, только если алгоритм присвоил им больше 50 баллов.
2. 10% получали SMS в любом случае, без присвоения баллов.
3. 10% попали в контрольную группу и не получали SMS в любом случае.
   
   По результатам теста оказалось, что у 80% из первой группы конверсия выше, чем у тех, кто получал SMS в любом случае. Статистическая достоверность — 95%. Это означает, что ML-алгоритм работает корректно: компания экономит на SMS, при этом не снижая конверсию в заявку. Если бы оказалось, что конверсия основной группы ниже, чем у второй и особенно третьей, контрольной, это бы означало, что модель работает некорректно и ее нужно переобучать. Разделение на три группы используют при каждой рассылке, чтобы вовремя заметить, если модель начнет хуже отрабатывать.
   
   Конверсия в заявку у группы, которую отобрал алгоритм, оказалась на 4,86 п. п. выше, чем у обычной рассылки, и на 5,63 п. п. выше, чем у контрольной группы. 
   
   Руслан Салихов, Head of direct marketing MoneyMan:
   
   «После того как мы убедились в эффективности ML-алгоритма, нужно было настроить отправку SMS с учетом скор-модели. В этом нам тоже помог Mindbox. Маркетологу не нужно каждый раз заново делить сегмент на группы с ML-алгоритмом, без него и контрольную группу. Для каждого сценария аудитория разделена на автообновляющиеся подсегменты, меняем просто текст SMS.

На двух сценариях с предложением повторного займа экономим 5 часов работы в неделю. Знаем это потому, что вручную выгрузить клиентов из базы данных и загрузить в SMS-агрегатор занимает около 2,5 часов для каждой рассылки».

Планы

Протестировать ML-алгоритм в каскадных рассылках: мобильный пуш плюс SMS. Использование нескольких каналов может повлиять на конверсию: важно убедиться, что модель будет работать корректно.