Презентация_финал

1.

Дипломный проект
“Исследование данных
опроса клиентов компании
“Мегафон”
1

2.

Постановка задачи
Как и любой бизнес, компания «Мегафон» хочет повысить
удовлетворённость своих клиентов качеством услуг. Это
важная задача для удержания пользователей — как давних,
так и недавно привлечённых. Ведь затраты на маркетинг и
продвижение не оправдаются, если клиент уйдёт из-за
низкого качества связи.
2

3.

Постановка задачи
Для оценки удовлетворенности клиентами качеством связи
«Мегафон» провёл опрос своих клиентов. По каждому
клиенту, прошедшему опрос, были собраны технические
показатели.
3

4.

Суть опроса
В ходе опроса компания «Мегафон» предложила своим
клиентам оценить уровень удовлетворённости качеством
связи по десятибалльной шкале. Если клиент оценивал
качество связи на 9 или 10 баллов, опрос заканчивался.
Если клиент ставил оценку ниже 9, задавался второй вопрос
— о причинах неудовлетворённости качеством связи с
предоставленными пронумерованными вариантами ответа.
4

5.

Содержание работы
На основании данных опроса и собранных технических данных
проведем исследования:
• Влияние технических параметров на оценку клиентами качества
связи (первый вопрос опроса)
• Влияние технических параметров на причину
неудовлетворенности клиентами качеством связи (второй
вопрос опроса)
5

6.

Исследование влияния технических
параметров на оценку качества связи
Исследование состоит из следующих шагов:
• Разведочный анализ данных
• Статистическая проверка значимости
• Выводы
6

7.

Разведочный анализ данных
Первый вопрос опроса определял уровень удовлетворённости
качеством связи по десятибалльной шкале (где 10 — это «отлично», а
1 — «ужасно»). Таким образом ответ на первый вопрос должен
зависить от одного или нескольких технических показателей.
7

8.

Разведочный анализ данных
Распределение ответов на первый
вопрос неравномерное.
Люди склонны выбирать крайние
значения.
35 % клиентов удовлетворены
качеством связи (ответы 9 и 10)
8

9.

Разведочный анализ данных
Построим зависимость медианного
значения технического параметра от
варианта ответа на первый вопрос
опроса.
По графику для параметра Total
Traffic не наблюдается зависимости.
9

10.

Разведочный анализ данных
Для остальных параметров
наблюдается зависимость, например
для параметра Downlink Throughput.
Чем выше была оценка клиента, тем
выше была медианная скорость
скачивания.
10

11.

Разведочный анализ данных
Анализировать 10 групп клиентов сложно, поэтому разделим
клиентов на три примерно равные группы:
• клиенты с низкой оценкой Q1 (1 - 3) - low;
• клиенты со средней оценкой Q1 (4 - 7) - medium;
• клиенты с высокой оценкой Q1 (9, 10) - high.
Затем заново сравним медианные значения технических параметров
11

12.

Разведочный анализ данных
12

13.

Разведочный анализ данных
Разведочный анализ данных позволяет предположить, что:
• Параметр Total Traffic не влияет на оценку связи;
• Downlink Throughput, Video Streaming Download Throughput, Web Page
Download Throughput, Uplink Throughput положительно влияют на
оценку связи;
• Downlink TCP Retransmission Rate, Web Average TCP RTT, Video
Streaming xKB Start Delay отрицательно влияют на оценку связи.
13

14.

Статистическая проверка
значимости
Для статистической проверки зависимости ответа на первый вопрос
опроса от технических параметров будем использовать метод
бутстрапа. Мы разделим клиентов на две группы: тех, кто поставил
высокие оценки на вопрос Q1 (9 и 10), и тех, кто поставил низкие оценки
(1, 2 и 3). Затем мы сравним медианные значения технических
показателей этих групп и статистически проверим значимость разницы.
Метод бутстрапа прост и позволяет быстро и эффективно определить
статистическую значимость данных.
14

15.

Статистическая проверка
значимости
Составим нулевую гипотезу:
H0 - оценка клиентом качества связи Q1 не зависит от технического
параметра Downlink Throughput
И соответствующую ей правостороннюю альтернативную гипотезу:
H1 - чем выше оценка клиентом качества связи Q1, тем выше
технический параметр Downlink Throughput
15

16.

Статистическая проверка
значимости
Разница медианных значений Downlink Throughput этих групп 501,15.
После рассчетов получаем p-value равным 0, что означает очень
высокий уровень значимости.
Нулевую гипотезу при заданной степени значимости можно отвергнуть.
Различия статистически значимы!
16

17.

Статистическая проверка
значимости
Проведем аналогичные рассчеты для остальных технических
параметров.
Все выводы разведочного анализа данных подтвердились: все
технические параметры влияют на оценку клиентом качества связи,
кроме параметра Total Traffic.
17

18.

Выводы
• На оценку качества связи положительно влияют следующие
технические параметры:
1) Downlink Throughput
2) Video Streaming Download Throughput
3) Web Page Download Throughput
4) Uplink Throughput
Увеличивая данные параметры компания может рассчитывать на
улучшение удовлетворенности клиентами качеством связи.
18

19.

Выводы
• На оценку качества связи отрицательно влияют следующие
технические параметры:
1) Downlink TCP Retransmission Rate
2) Web Average TCP RTT
3) Video Streaming xKB Start Delay
Уменьшая данные параметры компания может рассчитывать на
улучшение удовлетворенности клиентами качеством связи.
19

20.

Выводы
• Total Traffic не оказывает влияния на оценку связи клиентом
20

21.

Исследование влияния технических
параметров на причину
неудовлетворенности качеством связи
Исследование состоит из следующих шагов:
• Разведочный анализ данных
• Статистическая проверка значимости
• Выводы
21

22.

Разведочный анализ данных
Варианты ответов клиентов:
• 1 - Недозвоны, обрывы при звонках
• 2 - Время ожидания гудков при звонке
• 3 - Плохое качество связи в зданиях, торговых центрах и т.п.
• 4 - Медленный мобильный интернет
• 5 - Медленная загрузка видео
• 6 - Затрудняюсь ответить
• 7 - Свой вариант
• 8 - Клиент не оставил ответа или ответил некорректно (вариант,
дополненный при анализе данных)
22

23.

Разведочный анализ данных
Второй вопрос опроса определял причины неудовлетворенности
качеством связи, предлагая кленту выбрать вариант из 7 ответов.
Логично предположить, что причины неудовлетворенности качеством
связи будут зависить от технических параметров связи. Однако
технические параметры, предоставленные компанией, содержат только
данные, касающиеся мобильного интернета. Таким образом можно
предположить, что технические данные будут влиять только на
варианты ответов 3, 4, 5.
23

24.

Разведочный анализ данных
Клиенты практически одинаково
часто выбирали ответы 1, 3, 4 или
не отвечали на вопрос, реже - 2, 5,
и совсем редко - 6, 7
24

25.

Разведочный анализ данных
Средняя оценка качества связи (Q1)
для всех ответов кроме 6 и 7
одинаковая, приблизительно 3,75. У
ответа 7 оценка немного ниже - почти
3 балла, у ответа 6 выше - 6 баллов,
но такие ответы выбирали клиенты
редко, поэтому данные по этим
ответам не показательны.
25

26.

Разведочный анализ данных
Рассчитаем медианные значения технических параметров для разных
вариантов ответа, кроме ответов 6 и 7. Для этих вариантов совсем
мало данных
26

27.

Разведочный анализ данных
Сильного различия в
медианных значениях не
наблюдается, что
логично: вариант ответа
1 связан с телефонными
звонками, а не
интернетом
27

28.

Разведочный анализ данных
Как и с вариантом ответа
"1" различия в
медианных значениях не
наблюдается
28

29.

Разведочный анализ данных
У клиентом, ответивших
на вопрос Q2 - "4", все
технические параметры,
кроме Total Traffic, хуже,
чем у тех, кто отвечал на
вопрос Q2 иначе.
29

30.

Разведочный анализ данных
Графики совпадают с
вариантом "4", при этом
более выражено
различие в параметре
Video Streaming
Download Throughput
30

31.

Разведочный анализ данных
Различия в медианных
значениях не
наблюдается
31

32.

Разведочный анализ данных
Разведочный анализ данных позволяет предположить, что:
• Варианты ответов 1 (Недозвоны, обрывы при звонках), 2 (Время
ожидания гудков при звонке), 3 (Плохое качество связи в зданиях,
торговых центрах и т.п.) или когда клиент не оставил ответа не
зависят от технических параметров;
• Варианты ответов 4 (Медленный мобильный интернет), 5 (Медленная
загрузка видео) зависят от всех технических параметров, кроме Total
Traffic;
• Для анализа вариантов ответа 6 (Затрудняюсь ответить), 7 (Свой
вариант) недостаточно данных.
32

33.

Разведочный анализ данных
Влияние технических параметров на общую оценку связи (ответ на
вопрос Q1) - результат влияния технических показателей на
удовлетворенность клиентами качеством мобильного интернета (33 %
от всех недовольных)
33

34.

Статистическая проверка
значимости
Для статистической проверки зависимости ответа на второй вопрос
опроса от технических параметров будем использовать метод
бутстрапа. Каждый вариант ответа рассмотрим отдельно. Мы разделим
клиентов на две группы: тех, кто оставил данный вариант ответа на
вопрос Q2, и тех, кто не оставил. Затем мы сравним медианное
значение технических параметров этих групп и статистически проверим
значимость разницы. На основе разведочного анализа данных,
проверять различия будем для вариантов ответа 4 и 5.
34

35.

Статистическая проверка
значимости
Составим нулевую гипотезу для варианта ответа "4" и технического
параметра Downlink Throughput:
H0 - жалоба клиента на медленный мобильный интернет не зависит от
технического параметра Downlink Throughput
И соответствующую ей правостороннюю альтернативную гипотезу:
H1 - у клиентов, которые жаловались на скорость мобильного интернета,
медианное значение технического параметра Downlink Throughput ниже
35

36.

Статистическая проверка
значимости
Разница в медианных значениях Downlink Throughput между группами
равна 293.05.
После рассчетов получаем p-value равным 0, что означает очень
высокий уровень значимости.
Нулевую гипотезу при заданной степени значимости можно отвергнуть.
Различия статистически значимы!
36

37.

Статистическая проверка
значимости
Проведем аналогичные рассчеты для остальных технических
параметров.
Все выводы разведочного анализа данных подтвердились.
37

38.

Статистическая проверка
значимости
Влияние технических показателей на неудовлетворенность скоростью
интернета (ответ Q2 - 4) клиентом схожа с влиянием технических
показателей на оценку связи Q1. Это объясняется тем, что технические
параметры влияют только на удовлетворенность скоростью мобильного
интернета и видео
38

39.

Выводы
• Клиенты чаще всего не удовлетворены:
1) Недозвоны, обрывы при звонках
2) Плохое качество связи в зданиях, торговых центрах и т.п.
3) Медленный мобильный интернет
• Довольно часто клиент не оставлял ответ на вопрос Q2 или оставлял
его некорректно
• Клиенты реже всего отвечали на вопрос Q2:
1) Затрудняюсь ответить
2) Свой вариант
39

40.

Выводы
• Недовольство клиентами качеством звонков (ответы 1, 2, 3) не
зависят от технических параметров
• Недовольство клиентами качеством мобильного интернета (ответы 4,
5) зависят от технических параметров, кроме параметра Total Traffic
Увеличивая данные параметры компания может рассчитывать на
улучшение удовлетворенности клиентами качеством мобильного
интернета.
• Для анализа вариантов ответа 6 (Затрудняюсь ответить), 7 (Свой
вариант) недостаточно данных
40

41.

Заключительные выводы
На основании разведочного анализа всех предоставленных данных и
последующих проверок статистической значимости можно сделать
следущие выводы:
• 35 % клиентов удовлетворены качеством связи (9 и 10 ответы на
вопрос Q1)
• Удовлетворенность клиентами качеством связи в целом (ответ на
вопрос Q1) зависит от всех собранных технических параметров, кроме
параметра Total Traffic
• Средняя оценка клиентом качества связи в зависимости от ответа на
вопрос Q2 в целом одинаковая
41

42.

Заключительные выводы
• Клиенты чаще всего неудовлетворены (ответ на вопрос Q2):
• недозвонами, обрывами при звонках (ответ 1);
• плохим качеством связи в зданиях, торговых центрах и т.п. (ответ 3);
• скоростью мобильного интернета (ответ 4).
• Реже клиенты выбирали следующие причины неудовлетворенности
связью:
• время ожидания гудков при звонке (ответ 2);
• медленная загрузка видео (ответ 5).
42

43.

Заключительные выводы
• Клиенты редко выбирали ответы на вопрос Q2 затрудняюсь ответить
(ответ 6) и свой вариант (ответ 7)
• Клиенты часто не отвечали на вопрос Q2 или отвечали некорректно
• Собранные технические параметры влияют только
неудовлетворенность клиентами мобильным интернетом (ответы 4 и
5), но не звонками и качеством связи в помещениях (ответы 1, 2, 3)
• Доля клиентов, неудовлетворенных качеством интернета (ответы 4 и
5) относительно всех недовольных клиентов - 33 %
43

44.

Заключительные выводы
• Увеличивая технические параметры клиентов Downlink Throughput,
Video Streaming Download Throughput, Web Page Download
Throughput, Uplink Throughput компания может рассчитывать на
улучшение удовлетворенности клиентом скоростью интернета и,
вследствии чего, качеством связи в целом
• Уменьшая технические параметры клиентов Downlink TCP
Retransmission Rate, Web Average TCP RTT, Video Streaming xKB
Start Delay компания также может рассчитывать на улучшение
удовлетворенности клиентом скоростью интернета и, вследствии чего,
качеством связи в целом
44

45.

Заключительные выводы
• Uplink Throughput чуть меньше влияет на удовлетворенность
клиентом скоростью мобильного интернета
• Существует умеренная и значительная корреляционная связь между
техническими показателями Video Streaming Download Throughput,
Downlink Throughput, Web Page Download Throughput и Video
Streaming xKB Start Delay
45

46.

Рекомендации для компании
• Для увеличения удовлетворенности качеством мобильного интернета
рекомендуется в первую очередь улучшить технические параметры
клиентов Video Streaming Download Throughput, Downlink
Throughput, Web Page Download Throughput и Video Streaming xKB
Start Delay. Это позволит улучшить удовлетворенность 33 % всех
недовольных клиентов
• Для анализа причин неудовлетворенности качеством звонков и связи
в помещениях необходимо собрать дополнительные данные,
связанные непосредственно со звонками, а не мобильным интернетом
• В опросе рекомендуется исключить варианты "Свой вариант" (ответ
7), т.к. ни один пользователь не оставил никакого текстового
сообщения и не указал свой вариант
46