Tochno.st. Задача повышения возвращаемости пользователей

1. Tochno.st Задача повышения возвращаемости пользователей

A/B - тест

2. Проблематика

Исходный запрос:
Увеличить сумму ежемесячных пожертвований,
Увеличить количество заявок на верификацию НКО.
Итоговый запрос:
Пользователи должны возвращаться на сайт ежемесячно, а не один раз в
год после обновления определенных, интересующих их данных.
Целевая задача:
Увеличить возвращаемость каждый месяц (рост Monthly retention rate)

3. Выбор гипотезы для тестирования

Разработка
и ранжирование гипотез
Гипотезы
Impact
Effort
Confidence
Ранг
Ввод нового раздела (ежемесячно)
2
5
0.6
0.24
Реклама на социальных он-лайн сервисах
3
4
0.5
0.375
Ежемесячная e-mail рассылка на
пользователей сервиса
5
3
0.6
1.0
Гипотеза, принимаемая к тестированию:
Ежемесячная
e-mail рассылка на пользователей сервиса
Оцениваемая в ходе теста метрика:
Конверсия
из посещения в подписку

4. Характеристики эксперимента

Метрика: Конверсия из посещения в подписку +150%.
Текущая конверсия = 0.0085
Целевая конверсия > 0.01275
Деление аудитории: 50/50 (инструмент – Google Optimize)
Размер тестовой группы: 1000 пользователей
Время теста: 2 недели
(исходя из среднего трафика 150 пользователей в день)
Метод достижения независимости к прочим факторам:
Размер выборки = 2000 пользователей
деление трафика по пользователям (инструмент – Google Оptimize)
Прочие характеристики:
Выборка репрезентативна
Сезонность отсутствует
Выбросы в данных отсутствуют

5. Результаты эксперимента

Итоговый размер тестовой группы = 2663 пользователя
Итоговый размер контрольной группы = 2476 пользователя
Конверсия в контрольной группе:
CRcontrol = 0.727%
Конверсия в тестовой группе:
Разница конверсий: 253%
CRtest = 1.84%
С вероятностью 95% конверсия тестовой группы находится в
интервале:
[1.36%, 2.43%]

6. Анализ результатов эксперимента

Распределение полученных данных не является нормальным
(критерий Шапиро-Уилка: p-value = 0.0056, при = 0.05: p-value <
)
Выбранный метод анализа: бутстрэп-сэмплирование
(размер подвыборки = 300, сэмплов 10000)
Результат:
95-ый квантиль плотности вероятности результатов контрольной
группы не пересекается с 5-ым квартилем плотности вероятности
тестовой группы, что говорит о статистической значимости
разницы конверсий в подписку контрольной и тестовой
группы
q0.95(control) = 0.00936, q0.05(test) = 0.01953 =>
q0.950(control) < q0.05(test)

7. Выводы

Эксперимент по увеличению количества подписок прошел успешно.
В ходе эксперимента получен прирост конверсии в подписку в 253%
относительно исходного значения, что выше целевого значения
целевое значение прироста конверсии = 150%
При масштабировании конверсия в подписку с вероятностью 95% составит
от 1.36% до 2.43%.
Нижняя граница данного интервала выше, чем целевое значение
конверсии, составлявшее 1.275%.