Кейсы и инструменты
Все упало, Наташ
У аналитиков утро начинается не с кофе, а с фразы менеджера «Там что-то метрика упала, посмотришь?» 📉 Хочется на такое отвечать: «не падение, а отрицательный рост», но есть риск остаться без премии 😨
А еще теперь и на собесах чуть ли не первым вопросом звучит «Упала метрика/конверсия, что будешь делать?».
Шпаргалка по диагностике того самого отрицательного роста
Разбор крайне популярного продуктового кейса с собесов
«Вы просматриваете дашборды здоровья продукта. На них вы замечаете, что сегодня утром сильнее обычного просела метрика конверсии из захода на сайт в регистрацию. Вы первый человек, кто это заметил. Каковы будут ваши шаги?»
Прежде, чем бить тревогу, стоит проверить базовые вещи.
Например:
Не упали ли еще какие-нибудь ключевые метрики?
Случались ли такие кейсы ранее. Если да, в чем там была проблема?
Может быть дело в некорректных данных, расчете на дашборде, фильтрах…
Далее, стоит конкретизировать:
На каком именно шаге произошло падение? Может падение метрики обусловлено падением одной конверсии из шага N в шаг N+1, а все остальные шаги конвертят как обычно?
Может сильнее всего пострадал какой-нибудь отдельный сегмент? Стоит покопать разрезы платформ, версий приложения, гео, АБ-тестов, маркетинговых кампаний.
Если поймем примерное место и сегмент – попробовать руками пройтись по пути пользователя и глазами увидеть проблему / баг.
Если мы ничего не накопали - стоит постучаться к разработке / менеджеру / более опытным аналитикам для дальнейшего поиска корня проблемы.
Рассмотрим конкретный пример:
🔸 Предположим, что мы начали копать и установили, что падение началось вчера с 15:20, а метрика упала c 60% до 52%. Ранее таких случаев не наблюдалось и проблем с данными у нас нет.
🔸 Далее, мы начали копать, были ли конкретные шаги, в которых конверсия обвалилась сильнее всего. Обнаружили, что сильнее всего упала конверсия на этапе подтверждения номера телефона. Остальные шаги не пострадали.
🔸 Мы стали копать в сегментах. Поняли, что гео юзера не влияют на падение, а вот платформа - повлияла: на десктопной и мобильной версии веба все ок, но на планшетах падение критическое.
🔸 Углубились в сегменты дальше и нашли, что проблема наблюдается у юзеров, попавших в тестовую группу эксперимента новой кнопки «Прислать код в смс».
🔸 С этой инфой мы пришли к разработке. Оказалось, что разработка по непонятной причине забыла про планшетную версию, где при нажатии на новую кнопку просто не приходила смс-ка.
🔸 Проблему быстро пофиксили, и все остались в плюсе.
Этот кейс проверяет умение задавать правильные вопросы и мыслить структурно, умение приоритизировать гипотезы и коммуницировать внутри команды.