Методы маркетинговых исследований. Лекция 1: Descriptive analytics

1.

МЕТОДЫ МАРКЕТИНГОВЫХ
ИССЛЕДОВАНИЙ
Лекция 1: Descriptive analytics
Гурин Константин
Корпорация Центр

2.

Прохождение курса
• В рамках курса будут выдаваться 3 домашних задания. За
каждое можно получить до 2-х баллов.
• За плагиат в заданиях штраф 1 балл.
• Дополнительные баллы можно получить за выступления на
семинарах.
• Итого:
• 5-6 и более баллов: оценка 5
• 4 балла – оценка 4
• 3 балла – оценка 3
• Для зачета – 3 балла.

3.

Уровни работы с информацией
В зависимости от уровня развития компании в работе с данными
можно выделить 3 последовательных уровня:
Descriptive analytics
Predictive analytics
Prescriptive analytics
Переход от одного уровня к другому соответствует логике:
Сперва хотим описать существующее положение дел.
После этого хотим понять что будет в последующем.
В конечном итоге хотим предпринять действия, чтобы добиться
ожидаемых результатов в будущем.

4.

Descriptive analytics
способ связать рыночную среду с компанией через
информацию;
• - информация о рынке и компании, необходимая для принятия
решения;
• - принципы систематического сбора и интерпретации данных,
которые могут помочь лицам, принимающим решения
• -
• В результате цель – достижение синергии между данными и
бизнес-решениями.

5.

Descriptive analytics: виды решений
• Exploratory Research:
• Исследовательский характер. Что-то происходит, почему это
происходит? Выявляем наличие возможных проблем.
• Descriptive Research:
• Описательные исследования. Конкретизируем ситуацию. Напр.
Отвечаем на вопросы: «Какова доля рынка?», «Кто наш клиент?»
• Casual Research:
• Исследования причинности. Проблема четко определена. Хотим
понять, помогут ли изменения одного параметра улучшить
бизнес-процесс. Напр. «Станут ли клиенты покупать чаще на
сайте, если его изменить?»

6.

Exploratory Research
• Когда применяем:
• - развить первоначальные догадки или идеи;
• - понять, где в нашей бизнес-модели есть проблемы;
• - предоставить общие рекомендации для более тщательного
тестирования, исследования;

7.

Exploratory Research: методы
• - Сбор и систематизация имеющейся в компании информации
(или представлений) о проблемах;
• - Интервью;
• - Фокус-группы;
• - Исследовательские сообщества (MROC: Market Research Online
Community)
• Выборка респондентов зависит от предмета исследования.
Респондент должен быть знаком с темой.

8.

Exploratory Research: имеющейся
информация в компании
• Основная идея: в различных точках компании у сотрудников и
руководителей уже есть начальные понимание проблем и
(возможно) путей их решений. Нужно просто спросить.
• На начальном этапе можем собрать имеющиеся данные через
интервью, обсуждение в малых группах.
• Плюсы: сотрудники компании идут на контакт.
• Минусы:
• - точка зрения сотрудников и отделов м.б. смещена в сторону
своего функционала;
• - могут не указывать на те проблемы, которые возникают
вследствие их работы (напр. Плохо настроенного бизнес
процесса);
• - могут преследовать интересы своего отдела при постановке
проблем.

9.

Exploratory Research: интервью
Задаем интересующие вопросы клиенту/потенциальному клиенту.
Интервью предполагает развернутые ответы (напр. концепция ‘5 why’)
Интересует выявление кейсов клиентского опыта относительно нашей
компании. Клиентский опыт не всегда формируется из собственных
взаимодействий с компанией, но и из взаимодействий знакомых,
близких. Почему выбирает нас/не нас, какие проблемы существуют?
Размер выборки – до повторения информации.
Плюсы:
- легко проводить;
- легко исследовать малые сегменты клиентов;
- легко менять структуру вопросов по ходу интервью;
- можем уточнять контексты клиентского опыта;
- высокая вовлеченность;
Минусы:
- - не знаем распространенность озвученных потребительских практик
и проблем.

10.

Exploratory Research: фокус группы
• Предполагает сбор группы на короткий период для публичного
обсуждения. Размер: 8 -12 человек. Рекомендуется проводить более
одной фокус-группы
• Получаем информацию о более распространенных, повторяющихся
сценариях.
• Плюсы:
- скорость проведения исследования;
- низкая цена;
- Минусы:
- влияние на мнения со стороны других участников может приводить к
смещению всех результатов.
- респонденты могут не успеть сформировать проблемы (мало
времени, меньше возможности раскрыть что в основе
потребительских практик и клиентского опыта).

11.

Exploratory Research: MROC
• MROC – группа увлеченных интерактивных участников,
объединенных общими интересами, систематически собираемая для
качественного исследования рынка.
• Собирается онлайн сообщество. За целенаправленность и
управляемость отвечает модератор.
• Различаются короткие (Adhoc) и длинные (Insight Community). Также
в качестве альтернативы обоим м.б. «Pop-up / On-Off Communities»
(всплывающие сообщества)
• Adhoc: срок жизни от нескольких дней до пары недель. 30-50
участников. Собираются под исследование конкретной
исследовательской задачи.
• Insight Community: срок жизни от нескольких месяцев до
нескольких лет (200-5000 участников).
• Pop-up / On-Off Communities: участники получают уведомления
когда они нужны. Размер 50- 250 человек. Участники получают
вознаграждение за каждое участие (по аналогии с аутсорсом).

12.

Exploratory Research: MROC
• Плюсы:
• возможность собрать в одном сообществе жителей разных
городов;
• большой массив получаемой от респондентов информации;
• большая степень вовлеченности в обсуждаемые темы;
• возможность возврата респондента к обсуждению темы.
• Минусы:
• слабая групповая динамика, отсутствие невербальной
коммуникации;
• не очевидны результаты, сильно зависит от модератора,
поддерживающего вовлеченность;
• для краткосрочных сообществ есть риск снижения качества
получаемой информации (на старте исследования и в малых
группах больше давление со стороны других участников и
авторитета модератора).

13.

Descriptive Research
• Стремимся определить количественно:
• Кто наши клиенты?
• Объем рынка и наше положение?
• Способы сбора информации:
• Активный сбор данных:
• 1. Опросы
• 2. Самоотчеты от клиентов
• Пассивный сбор данных: покупка информации у других
компаний.

14.

Активный сбор данных: опросы
• На что направлен опрос:
• Существующие клиенты.
• Что исследуем:
• - отношения клиентов;
• - чувства;
• - покупательские привычки;
• - сегменты потребителей;
• Рынок в целом.
• Что исследуем:
• - объем рынка, доля рынка;
• - преимущества и недостатки товаров и услуг на рынке;
• - определяем силу бренда;

15.

Активный сбор данных: опросы
• Для опросов клиентов в качестве контекста может выступать
момент покупки, заказа и другие точки касания.
• Также возможно исследование заранее пред подготовленных
сегментов клиентов. Предварительно нужно убедиться,
правильно ли мы интерпретируем сегмент.
• Локация опроса и место м.б. фактором, влияющим на ответы.
• Напр. Опрос в торговых центрах смещает оценку аудитории. Это
нужно учитывать при построении программы исследования.

16.

Опросы: типы вопросов
• Помимо стандартных для социологии:
• Степень удовлетворенности. Пример: «На сколько вы
удовлетворены качеством связи вашего оператора?».
• Недостатки: клиент не знает с чем сравнивать, т.к. не имеет
другого потребительского опыта.
• Сравнительный вопрос. Пример: «Какой напиток для вас
предпочтительнее: Кола или Пепси?»
• Недостатки: альтернативы м.б. недостаточно хороши.
• Вопрос ранжирования характеристик: «Что в большей степени
повлияло на ваш выбор? (из списка характеристик)» или «Какой
товар вы выберите в первую очередь, во вторую и т.д.».
• Недостатки: проблема множественных сравнений.
• Голосования: За или против, нравится не нравится.

17.

Опросы: типы вопросов
• Парные сравнения: Conjoint analysis.
• Не один конкретный вопрос, а метод исследования со
специфичными вопросами.
• Цель – определить, какие атрибуты, комбинации атрибутов из
ограниченного списка какой вклад вносят в выбор товара или услуги.
• Респонденту задается ряд вопросов или вопрос ранжирования из
разных комбинаций атрибутов. Напр. «Какую машину вы бы
предпочли:
• «Ford Focus синего цвета с автоматической коробкой передач за 600
тыс. руб. или серебристый Scoda Rapid с механической коробкой
передач за 650 тыс. руб.?»
• Проблемы: м.б. смещения вариантов из-за недостатка вопросов.
• Недостаток: нельзя сравнивать множество атрибутов (4-6) и свойств
этих атрибутов.
• Специфика: требуется компетенция в обработке и анализе.

18.

Опросы: типы вопросов
• Оценочные шкалы:
• Шкала Лайкерта
• «Укажите пожалуйста степень согласия со следующим
утверждением? (от 1 до 5 где 1 – Категорически не согласен, а 5 –
полностью согласен)»
• «Жигули безопасная машина»;
• «Заходя в магазин данной сети я чувствую себя комфортно»;
• «В торговой сети низкие цены»
• Семантический дифференциал:

19.

Опросы: типы вопросов
• Замер удовлетворенности клиентов:
• NPS (Net Promoter Score): индекс готовности рекомендовать.
• Рассчитывается процент клиентов, оценивающих свою
вероятность порекомендовать компанию, продукт или услугу
другу или коллеге как 9 или 10 («промоутеры») (promoters) минус
процент, оценивающий это как 6 или ниже («критики») (detractors)
по шкале от 0 до 10. Респонденты, получившие оценку 7 или 8,
называются «пассивными» (passives) и учитываются при
подсчете общего процента.
• NPS = % промоутеров - % критиков
• Есть сильная связь результатов с ASCI (Американский индекс
удовлетворенности покупателей)

20.

Опросы: требования
• Валидность (Validity): будут ли полученные результаты значимы.
Объясняют ли они реальные распределения, либо мы
наблюдаем ошибки измерений? Напр. мы получили информацию,
что 50% рынка готовы покупать нас, но ошибка измерений дает
оценку +- 40%.
• Ошибки измерений будут иметь большое значение при
панельных исследованиях и сравнениях поведения подгрупп
внутри выборки.
• Надежность (reliability): будем ли получать одни и те же
результаты при повторном проведении исследований?

21.

Дизайн опроса
• Дублирует стандартную процедуру:
• 0. Убедиться, что результаты можно обобщить на всю совокупность
(репрезентативность)
Если хотим стимулировать за ответы, необходимо сперва понять,
есть ли отличия в группах отвечающих и не отвечающих.
Напр. Есть онлайн сервисы для проведения опросов, но нет
уверенности в точном отражении рынка. Нужны сравнения на
однородность групп.
1. Составить список того, что хотим понять о клиентах, рынке.
Для этого нужно понимать, что мы можем сделать с ответом, если
узнаем его?
2. Составить программу исследования;
3. Выбрать меры измерения (баланс между открытыми и закрытыми
вопросами);
4. Составить вопросы;
5. Настройка последовательности и логичности анкеты.
6. Проведение этапов: зондаж, пилотаж.

22.

Самоотчеты от клиентов
• - Тайные покупатели;
• - Опросы об удовлетворенности после покупки
(автоматическими);
• - Анализ жалоб;

23.

Пассивный сбор данных
• Покупка агрегированных данных, либо использование данных,
доступных из инфраструктуры.
• Сферы (помимо специфических задач):
• Медиа планирование:
• Замер аудитории тв, радио. Замер популярности передач.
Рассматриваем как меняется структура зрительской аудитории.
• Social Media Analytics:
• Можно ответить на вопросы:
• - вовлеченность аудитории в рекламу (анализ рекламных
компаний);
• - упоминание бренда, сравнение с конкурентами;
• - Sentiment Analysis: эмоциональная оценка бренда аудиторией,
оценка настроений.

24.

Пассивный сбор данных: Web Data
• Как и что ищут в online?
• - Наш сайт;
• - Сайты конкурентов.
• Вопросы ориентированные на управление:
• Paid media (реклама) :
• оплата за клики, переходы;
• ретаргетинг;
• оплата влиятельным лицам;
• оплата продвигаемого контента;
• Earned media:
• - упоминания;
• - обзоры;
• - репосты;
• Owned media:
• - свойства сайта;
• - мобильного приложения;
• - онлайн-каналов продвижения.

25.

Пассивный сбор данных: Данные
мобильных операторов
• Предлагают агрегированную информацию по направлениям:
• - Гео данные: где какая аудитория проживает и работает; где
какой трафик;
• - Какие приложения устанавливают, на какие сайты заходят;
• - Специальные сегменты аудитории. Часть из этих сегментов –
конструируется операторами.

26.

Casual Research
• Исследования причинности. Проблема четко определена,
решение – не однозначно. Хотим понять, помогут ли изменения
одного параметра улучшить параметры другого. Напр. «Станут ли
клиенты покупать чаще на сайте, если его изменить?»
• Собираем результаты собственного опыта.
• Тестирование гипотез и эксперименты.
• Как понять, приносит ли изменение наших действий успех?
• В основе – понимание, причинно-следственных связи между
одной переменной и другой, при сохранении всех прочих
факторов без изменений.
• Только наличие корреляции не является причинно-следственной
связью.

27.

Casual Research: Три компонента причинных
доказательств
• Неложная ассоциация
• Коррелированная вариация между двумя переменными может быть
действительной только в том случае, если нет другой переменной,
связанной как с причиной, так и со следствием.
• Временная последовательность
• Причина и следствие могут быть связаны исключительно в том
случае, если причина возникла до возникновения следствия.
Например, неверно предполагать, что причиной падения продаж
были новые участники рынка, когда продажи уже снижались до
прихода новых участников.
• Сопутствующие изменения
• Сопутствующее изменение называется количественным
изменением, произошедшим только из-за количественного
изменения, произошедшего в причине. Это означает, что вариации
между двумя переменными должны быть систематическими.

28.

Casual Research: примеры
• Если компания не прилагает усилий для увеличения продаж за
счет найма квалифицированных сотрудников или обучения
сотрудников, то увеличение продаж не может объясняться
наймом опытных сотрудников. Возможны и другие причины
увеличения продаж.
• Примеры исследований проще всего определить вопросом «Что,
если?»
• Что произойдет с продажами, если мы проведем рекламную
акцию?
• Что произойдет с оттоком клиентов, если мы отправим им
акционное предложение по почте?
• Что произойдет со спросом, если мы увеличим цену на товар?

29.

Casual Research: построение эксперимента
• Разрабатываем эксперимент, который «контролирует» или
поддерживает все маркетинговые элементы продукта, кроме
одного. Одна переменная изменяется, и затем измеряется
эффект.
• Эксперимент, проводимый в естественной обстановке, например
в магазине, называется полевым экспериментом . Иногда
компании проводят полевые эксперименты либо потому, что так
удобнее, либо потому, что хотят увидеть, будут ли покупатели
вести себя так же в «реальном мире», как в лаборатории или на
компьютере. Место проведения эксперимента или
демографическая группа людей, которым проводится
эксперимент, считается тестовым рынком . Прежде чем крупная
компания представит продукт на всем рынке, она часто
размещает предложение на тестовом рынке, чтобы увидеть,
насколько хорошо оно будет принято.

30.

Casual Research: разбиение тестовых групп
(тестового рынка)
• Формируем 2 однородные группы (для эксперимента с 1-м
параметром изменения и 1-й модификацией). Напр. Если в
качестве объектов – города или населенные пункты, в обеих
группах д.б. одинаково представлены города с разным
количеством населения. Если объекты – клиенты, разделение
д.б. пропорционально потребительскому опыту, географии,
демографическим признакам.
• На одной из групп объектов проводим эксперимент (тестовая
группа), на другой – нет (контрольная группа).
• Важно, чтобы вся дальнейшая маркетинговая активность и
настройки продаж были одинаковыми с момента начала
проведения эксперимента.

31.

Casual Research: статистическая значимость
• Необходимо понимать, что не все результаты, полученные в ходе
экспериментов нужно принимать за реальность. Часть
наблюдаемых различий м.б. вызвана вариацией при проведении
эксперимента.
• В статистике разработан широкий инструментарий для проверки
того, с какой степенью уверенности можно считать полученный
результат статистически значимым, надежным.

32.

Casual Research: проведение эксперимента
• Что можем контролировать:
• Какие различия хотим увидеть?
• Если мы хотим увеличить средний чек на 30 руб., который
варьируется в диапазоне 3-5 тыс. руб., то эксперимент нужно
проводить очень долго. Если мы сосредоточимся на увеличении в
300 руб. время эксперимента существенно сократиться. Также
различия могут быть сформированы из расчета точки
безубыточности (в ряде случаев отпадает необходимость
проведения теста).
• Сколько нужно тестировать? (по времени, по количеству
объектов).
• С учетом зафиксированных различий можем рассчитать сколько
нужно проводить эксперимент. Также можем включить
диспропорции в размерах контрольной и тестовой групп.

33.

Эффекты: Upplift и канибализация
• Upplift – прирост от изменения. На практике необходимо
оперировать Upplift при принятии решения об изменениях, а не
абсолютными показателями в тестовой группе. Также Uplift
необходимо сопоставлять с затратами на реализацию изменений.
• Канибализация - сокращение продаж или доли рынка одного
продукта вследствие вывода на рынок другого товара одного и
того же производителя. В контексте экспериментов следует
учитывать, что положительное влияние на одни показатели может
повлечь отрицательное влияние на другие. Напр. Мотивация за
повторные покупки может увеличить конверсию, но негативно
сказаться на наценке покупки. В результате рублевая наценка со
всей тестируемой группы может обвалиться.

34.

Casual Research: более сложный контекст
исследований
• Часто проведение чистого эксперимента невозможно.
• Причины:
• 1. Слишком много факторов могут влиять. Одновременно с
экспериментом проводятся другие изменения.
• 2. Цена чистого эксперимента слишком высока. Есть
возможность провести ограниченный эксперимент, но не так как
нам хотелось бы.
• Частично в таких ситуациях могут помочь:
• 1. Региональные A/B тесты
• https://www.youtube.com/watch?v=YeHx5AspRA4&ab_channel=Avito
Tech
• 2. Mixed Models (модели смешанных эффектов)

35.

Casual Research: преимущества
• Помогает определить причины процессов, происходящих в
системе. Эти знания помогают исследователю предпринять
необходимые действия для решения проблем или оптимизации
результатов.
• Дают преимущества репликации (повторения результатов), если
в этом есть необходимость.
• Помогают выявить последствия изменения процессов и
существующих методов.
• В причинно-следственных исследованиях субъекты отбираются
систематически. Из-за этого причинно-следственные
исследования полезны для более высоких уровней внутренней
достоверности.

36.

Casual Research: недостатки
• Результаты всегда неточны, потому что всегда будет несколько предыдущих
причин или скрытых причин, которые будут влиять на результат вашего
исследования. Например, если вы планируете изучить эффективность новой
рекламной кампании на уже сложившемся рынке. Тогда вам будет сложно это
сделать, так как вы не знаете, что рекламная кампания влияет исключительно на
эффективность вашего бизнеса или на нее влияют предыдущие рекламные
кампании.
Высокая цена и упущенная выгода при тестировании.
В ряде случаев предоставляют информацию о ваших планах вашим конкурентам.
Например, они могут использовать результаты вашего исследования, чтобы
определить, чем вы занимаетесь, и выйти на рынок раньше вас.
Результаты вашего исследования могут быть искажены внешними агентами.
Занимают много времени. Точность исследования причинно-следственных связей
прямо пропорциональна времени, которое вы тратите на исследование.
Вы не можете делать выводы, основываясь только на результатах исследования
причин. Вам необходимо провести другие виды исследований, чтобы подтвердить
его результаты.
Иногда исследователю легко определить, что две переменные связаны, но
определить, какая переменная является причиной, а какая - следствием, для
исследователя непросто.

37.

Descriptive analytics: выводы
• Первый шаг в понимании происходящего.
• Нельзя отвечать на сложные вопросы, не ответив на простые.
• Эксперименты – хороший способ не наступать на грабли много
раз.
Информация всегда не полная, но это нормально.
Данные с разных источников могут противоречить друг-другу.
Нужно проверять что получаем, как данные собирались.
Выводы всегда не 100% точные, но это нормально.
Универсальных инструментов нет.
Дешевле пробовать запускать эксперименты, чем бесконечно
исследовать возможности.

38.

Задание на дом 1: Исследование объема рынка.
Помогут материалы:
https://www.startuploans.co.uk/business-advice/calculate-market-size/
https://www.entrepreneur.com/article/237983
http://powerbranding.ru/rynok/emkost-snizu-vverx/
• В группах по 3 человека (выбираем один из вариантов, варианты не должны
повторяться):
Необходимо разработать исследование для расчета объем рынка при открытии
(количественный опрос: программа исследования, кабинетное исследование +
анкета):
1. Сеть детских парикмахерских
2. Пиццерия
3. Овощной магазин
4. Производство обуви
5. Кальянная
6. Пекарня
7. Магазин подержанных телефонов
8. Кинотеатр
9. Производство тюбингов
Можете предложить свой вариант, требуется одобрение.
За выполнение 1-2 балла в зависимости от качества, за плагиат -1 балл.

39.

Задание на дом 2:
• 1. Изучить подход к A/B тестированию:
• https://habr.com/ru/post/233911/
• https://www.slideshare.net/evgenyq/ss-32611485
• 2. Для сайта kcentr.ru придумать модификацию и описать
программу эксперимента. В рамках предложенных вариантов
изменений не должно быть повторов. В результате должны быть:
описание почему выбран именно этот элемент, предложен
альтернативный вариант, сформулирована гипотеза, определено,
какой показатель хотим изменить.
• 3. Решение и обоснование решения задачи по проверке гипотез:
• - оценка сроков тестирования;
• - тест на пропорции;