Как мы внедрили культуру быстрой проверки гипотез в команды HeadHunter

Growth-трансформация: как HeadHunter тестирует 250 гипотез роста в год

Задача и причина

Задача:

Внедрить культуру быстрой проверки гипотез в продуктовых командах, найти новые точки кратного роста в продуктах и повысить основные метрики: конверсию в активацию, метрики удержания, конверсию в оплату.

Причина:

Темпы роста продуктов замедлились, команда предпринимает много действий, но ключевые метрики не растут. Команда понимает, что нужно больше экспериментировать, чтобы найти драйверы роста, и неоднократно пыталась запустить процесс быстрой проверки гипотез, но не получается тестировать больше 1-2 гипотезы в месяц.

Чтобы успешно внедрить культуру быстрой проверки гипотез в продуктовых командах, команды HeadHunter прошли программу Growth-трансформации. Она состоит из 2-х ключевых этапов.

1. Синхронизация знаний продуктовых команд в области тестирования гипотез и внедрение концепции Growth-мышления

Для этой цели в рамках 1-го этапа Growth-трансформации в HeadHunter было проведено обучение в формате воркшопа по Growth-hacking. Воркшоп проходит 2 дня, в ходе которого мы меняем мышление команд. В нем участвовали продуктовые команды, которые учились быстро проверять гипотезы.

Во время воркшопа мы на примерах изучали понятие гипотезы и инструменты создания качественных гипотез, разбирали подготовленные командами гипотезы, учились их правильно формулировать по чек-листам и запускать в работу.

Можно много раз перекрашивать кнопки, но от этого бизнес-метрики не растут, поэтому мы обучаем качественным инструментам генерации гипотез, которых у нас более 35 штук.

Также на этом этапе мы избавлялись от ограничений в продукте, в аналитике, инфраструктуре и голове, которые мешают запускать гипотезы за 6 часов. Изучали как в целом выглядит процесс быстрой проверки гипотез: кто этим должен заниматься, какими компетенциями и навыками они должны обладать, из каких этапов состоит устойчивый процесс тестирования гипотез и как его выстроить.

Это все объясняется 30% в теории и 70% на практике. Так, чтобы команды самостоятельно прямо на воркшопе оформляли свои гипотезы по чек-листу и генерировала новые, используя инструменты: UX-тестирование, 5U-заголовки и воронку AAARRR. 

Так в результате воркшопа у нас получились команды, которые говорят на одном языке, и умеют генерировать простые гипотезы, которые они могут подготовить максимум за день, а протестировать за неделю. Кроме того, по итогу первого этапа команды вышли с 10-15 качественными гипотезами, которые они взяли в тестирование в ближайшее время. Благодаря этому этапу мы можем качественно выполнить следующий шаг — внедрить процесс регулярного тестирования гипотез роста. 

«Ты делишь продукт по конкретным этапам и понимаешь какая гипотеза на что конкретно влияет. Очень круто, что можно очень быстро увидеть результат и не нужно ждать месяцами результаты AB-тестов. Тебе не нужно реализовывать какой-то функционал и ждать пока он сработает на реальных клиентах. Все эти подходы помогают намного быстрее правильно принять решение, найти новые точки роста, — те функции, которые принесут нам огромный рост. Все ребята полностью поменяли свое отношение к дешевой реализации, и перестали думать о том, что это как-то может задеть основной сценарий пользователя», — Дарья Бирюкова, Product Manager.

2. Внедрение процесса регулярного тестирования гипотез роста

На 2-м этапе Growth-трансформации мы вместе с продуктовыми командами, которые были на обучении,  в течение 6 недель выстраивали устойчивый процесс тестирования гипотез под руководством трекера с нашей стороны.

Этот процесс команды отрабатывали на фреймворке Growth Scrum, цель которого получение максимально возможного количества инсайтов через постоянное увеличение количества тестируемых гипотез и ценности каждой гипотезы.

Цель спринта в Growth Scrum — это не готовый к использованию инкремент, а полученная реакция пользователей на минимально возможное изменение в рамках воронки продукта.

Обычно работа происходит в онлайн или офлайн-формате, в команде HeadHunter происходило онлайн. В кейсе HeadHunter участвовали команды соискателей, Talantix, ClickMe и др. 

Внутри продуктовых команд были назначаются growth-мастера. Это люди, которые управляют процессом тестирования гипотез внутри своей команды.

Каждая команда еженедельно встречалась с нашим трекером на growth-митинге, где они разбирали подготовленные гипотезы,  учились их формулировать и запускать в работу, проводили ретроспективу и учились правильно делать выводы по гипотезам, чтобы находить инсайты в проведенных экспериментах.

В течение 6 недель трекер передавал роль Growth-мастера внутрь команд: учил правильно интерпретировать ценности из JTBD исследования, формировать цепочку прогревания, тестировать лид-магниты, выявлять Aha moment  и настраивать продуктовую аналитику.

Минимальное сопровождение growth-мастера длится 1 месяц. Сейчас мы рекомендуем в рамках growth-трансформации выделять не меньше 3-х месяцев:

  • 1 месяц — запуск базового процесса. За это время обычно команда успевает протестировать первые 10-30 гипотез, что уже больше привычных 1-2 штук. А также понимает, как в целом работает процесс, свои роли, выстраивает аналитику и системы AB-тестирования, находит новые точки, где можно поэкспериментировать.
  • 2 и 3 месяцы — работа ключевых метрик. Здесь команда, уже понимая, каким образом у них выстроен процесс, начинает экспериментировать, чтобы найти новые точки роста.
Как мы внедрили культуру быстрой проверки гипотез в команды HeadHunter

«Мы научились работать с более близкими метриками. Ранее мы старались смотреть все таки на воронку целиком. Growth-Hacking подход показал нам, что сначала надо смотреть на что-то ближайшие — это первое, что поменялось. Второе изменение в том, что ранее у нас с аналитикой работали 1-2 разработчика внутри команды и аналитик, а сейчас у всех есть доступы к отчетам. То есть итоги growth-hack операций теперь может смотреть даже сам продукт. И даже при работе над обычными задачами, которые не попадают под growth-hacking процесс, мы ежедневно можем получать данные, анализировать и делать выводы на их основе самостоятельно», — Ксения Колосова, руководитель проектного офиса.

После того, как команды поняли смысл тестирования гипотез, поменяли мышление, освоили инструменты и выстроили базовый процесс с помощью нашего Growth-мастера, дальше команды уже самостоятельно начинают работать над гипотезами как не в себя и масштабируют процесс быстрой проверки гипотез на другие продуктовые команды.

Результат

В результате такой growth-трансформации команды нашли новые точки роста в продуктах и повысили скорость тестирования гипотез с 40 до 250 гипотез в год. Это позволило улучшить основные метрики: в 2 раза конверсию в активацию, в 3 раза метрики удержания и в 2 раза конверсию в оплату.