Анализ данных

1. Анализ данных

Лекция 1

2. Аналитика данных

Современная
аналитика
данных
–
собирательное понятие.
Аналитика данных изучает: вопросы по
принятию решений на основе данных и
внедрением аналитической культуры в
компаниях в эпоху трансформации.

3. Анализ данных

Существует десятки определений.
Анализ данных – процесс исследования,
фильтрации,
преобразования
и
моделирования данных с целью извлечения
полезной информации и принятия решений.
Анализ
данных
–
вычисление
одних
характеристик
объекта
по
известным
значениям других характеристик на основе
таблицы данных.

4. Анализ данных

В процессе анализа данных исследователь
производит совокупность действий с целью
формирования
определенных
представлений о характере явления,
описываемого этими данными.
Для анализа данных используются различные
математические методы:
Кластеризация;
Регрессия и т.д.

5. Анализ данных

Появился из задач прикладной математики
(кроме анализа данных в ней выделяются
еще задач вычислительной математики и
идентификация моделей – возникли
раньше анализа)

6. Вычислительная математика

ВМ решает задачу вычисления одних характеристик
изучаемого объекта или явления по известным
значениям других его характеристик.
Модель объекта считается известной, а зависимость
между
характеристиками
описываются
аналитическим выражением в виде уравнения или
системы уравнений или неравенств.
Проблемы, возникающие при решении таких задач,
связаны, в основном, с большим объемом
вычислений и с защитой от погрешностей,
накапливающихся в компьютере из-за округления
чисел.

7. Идентификация моделей

Задача ИМ:
Известно:
набор переменных, влияющих на целевую характеристику;
общий вид зависимости между характеристиками.
Неизвестно:
Коэффициенты;
Показатели степени;
Другие параметры модели.
Для определения используются протоколы наблюдений, отражающие
значения одних характеристик при различных значениях других.
Делается серия предположений о значениях неизвестных параметров
модели, которые проверяются на протоколах.
В результате выбираются такие значения параметров, при которых
модель с заданной точностью позволяет по входным характеристикам
определять выходные или целевые характеристики.

8. Модель

Модель (лат.: modelium) – мера, способ,
сходство с какой-то вещью.
Построение модели – универсальный способ
изучения окружающего мира, позволяющий
обнаружить зависимости, прогнозировать,
разбивать на группы и решать множество
других задач.
Модель – объект или описание объекта, системы
для замещения (при определенных условиях,
предположениях, гипотезах) одной системы
(т.е. оригинала) другой системой, для лучшего
изучения оригинала или воспроизведения
каких-либо его свойств.

9. Моделирование

Моделирование – универсальный метод
получения, описания и использования знаний.
Применяется в любой профессиональной
деятельности.
В отрасли прикладной математики и в IT-сфере –
рассматривают, как правило, математические
модели.
Основная цель моделирования:
модель
должна
хорошо
отображать
функционирование моделируемой системы.

10. Классический подход к процессу анализа

В данномосуществляются
процессе отсутствует
этап
Расчеты
помощью
Аккуратные
вычисления
по с имеющейся
Для
Они
проверяются
решения
задач
на
основе
выбираются
имеющихся
готовые
выдвижения
гипотез
о программного
том,высокого
какие
специализированного
модели
создают
впечатление
модели
данных.
с
известными
параметрами.
характеристики
должны
включаться в
обеспечения.
качества
решения задачи
в целом.
модель объекта и какой должна быть эта
модель.

11. Минусы подхода

На
любом
этапе
развития
прикладных
математики
Риск
сделать
ошибку
при
выборе модели
и ее и
Исследователь,
Например,
если
решая
в рассматриваемом
современные
явлении
задачи
информатики
возникают
реальные
задачи,
для
параметров
не
учитывается
классическим
анализа
переменная
данных,
Возраст
практически
влияет
наникогда
выходную
не
решения
которых
нет
готовых математических
подходом.
Т.е.
за
адекватность
и ее
знает
переменную,
ни точный
и эта
видсвязь
«истинной»
носитмодели
логический
модели,
ни
моделей, и времени для ожидания их появления нет.
параметров
изучаемому
явлению
характер,
то
параметр
между
LOG(Возраст)
переменными,
должен
ни
Какхарактер
следствие,связей
в середине
XX
века
у исследователей
исследователь
не
отвечает.
исчерпывающий
присутствоватьпонимание
в модели.
переченьограниченности
самих
приходит
переменных. математики, и ведутся поиски новых
вычислительной
парадигм анализа данных.

12. Концепция анализа данных

В середине XX столетия компьютеры были
еще очень слабы в области отображения
информации, особенно графической.
В 1962 году в эту формализованную и
перегруженную теорией среду «ворвался»
Джон Тьюки с концепцией разведочного
анализа данных.

13. Первый этап анализа данных

По Тьюки убеждению можно многое узнать из
данных визуализируя их. Также он утверждал,
что нужно больше внимания уделять
использованию данных для выдвижения
гипотез – это первичный этап анализа данных
– разведочный этап.
Важнейшим элементом данного этапа являлось
широкое
использование
визуального
представления многомерных данных.

14. Визуализация данных

Для визуализации данных используются:
Графики;
Схемы;
Условные рисунки;
Таблицы и т.д.
Особенностью визуализированных данных
является наглядность – возможность увидеть
признаки каких-либо закономерностей.

15. Этапы анализа данных в концепции Тьюки

Разведочный
анализ – синтез
1. Разведочный;
детерминированных, стохастических
Подтверждающий
и2.эвристических
подходов к анализу
или наблюдение.
выборочных
Подтверждающий
анализ – ставится
Цель
исследователя
– выявить
задача
проверки
соответствия
На
этапе
итогового
анализа
данных
конфирматорный;
внутренние
вероятностные
и
сформулированных
гипотез
проводится экспертный
анализ
3.геометрические
Итоговый.
полученным
эмпирическим
результатов
и ихзакономерности
обобщение.
Прив
данных
для
формирования
данным.
Вычисляются
необходимости,
на всехитоговые
этапахи
верификации
или иных
рабочихи
статистические
моделей
исследованиятехоценки
возможны
гипотез
о их погрешности.
связях
определяются
итерационные
уточнениямежду
и
переменными,
когда отсутствуют
обобщения.
априорные
представления
о
природе эти связей.

16. Концепция анализа данных

Т.о. концепция разведочного анализа Тьюки
была воплощена в следующих подходах
аналитики данных:
Обнаружение знаний в базах данных (KDD)
Data Mining
Big Data.
Кроме этого, концепция разведочного анализа
Тьюки послужила толчком к развитию
разнообразных
методов
визуализации
многомерных данных.

17. Процесс анализа данных по Тьюки

Модель
следует за данными,
а не наоборот,
как
в классическом
Если
результаты
разведочного
анализа
говорят
в пользу
Вместо
последовательности
действий:
Отправной
точкой
теперь
служат
данные,
характеризующие
подходе.
некоторой
модели,
тоявление.
ее правильность можно проверить,
Модель
– Анализ
- Данные
исследуемый
объект
или
Двунаправленные
стрелки
наизмеренным)
схеме показывают,
что
анализ
применив
к
новым
(вновь
данным
явления
или
стала последовательность:
данных
носит циклический характер: на первых итерациях
объекта.
Данные – Анализ (разведочный) – Модель – Анализ
выдвинутые гипотезы могут потребовать дополнительных
(подтверждающий)
экспериментальных данных или наблюдений, уточнений. Что
в дальнейшем существенно облегчит подбор способов более
глубокой обработки данных на этапах подтверждающего
анализа.

18. Современное понятие анализа данных

В
современном понимании
анализа данных решается
задача анализа явлений, для
которых
еще
нет
математических моделей.
В таких задачах есть только
наборы экспериментальных
данных (входы-выходы) или
только
входы,
представленные в виде
массивов или таблиц.

19. Современное понятие анализа данных

Конструирование моделей и определение их
параметров является основным предметом
внимания современного анализа данных.
Исследователи отвечают за привнесение
эвристических гипотез о возможных формах
(моделях)
зависимостей,
параметрах
предполагаемых законов распределений и т.д.
При решении таких задач используются:
Дедуктивные методы;
Индуктивные методы
Реализованы в
методах машинного
обучения!

20. Современное понятие анализа данных

При этом надо помнить –
концепция «моделей от данных»
требует тщательного подхода к
качеству исходных данных, т.к.
ошибочные,
зашумленные
данные
могут
привести
к
моделям
и
выводам,
не
имеющим никакого отношения к
действительности.
Поэтому в анализе данных важную
роль
играют
:
интеграция,
подготовка и очистка данных.

21. Современное понятие анализа данных

В аналитике данных, говоря об анализе
данных, предполагается использование
именно подхода к анализу, заложенного
Тьюки.
Современная динамическая задача, задачи,
стоящие перед бизнесом, огромные
объемы накопленных данных не оставляют
шансов
на
значительный
успех
классических подходов к данным.

22. Современное понятие анализа данных

Современная аналитика данных опирается на
4 важные составляющие:
Эксперт;
Гипотеза;
Аналитик;
Руководитель проекта.

23. Эксперт

Эксперт – специалист в предметной области,
профессионал, который за годы обучения и
практической
деятельности
научился
эффективно решать задачи, относящиеся к
конкретной предметной области.
Эксперт – ключевая фигура в процессе анализа.
Эффективные аналитические решения можно
принимать в результате сочетания лучшего из
того, что может человек и компьютер.
Эксперт выдвигает гипотезы (предположения)
и для проверки их достоверности либо
просматривает некие выборки различными
способами, либо строит те или иные модели.

24. Гипотеза

Гипотезой в аналитике данных выступает предположение
о влиянии какого-либо фактора или группы факторов на
результат.
Например:
При
построении
прогноза
продаж
допускается
предположение, что на величину будущих продаж
существенно влияют продажи за предыдущие
периоды и остатки на складе.
При оценке
кредитоспособности
потенциального
заемщика
выдвигается
гипотеза,
что
на
кредитоспособность влияют социально-экономические
характеристики клиента: возраст, образование,
семейное положение и т.п.

25. Аналитик

Аналитик – специалист в области анализа и моделирования.
Аналитик
на
достаточном
уровне
владеет
инструментальными и программными средствами
аналитика данных, например методами машинного
обучения и Data Mining.
Аналитик связывает между собой экспертов, т.е. он собирает
у экспертов различные гипотезы, выдвигает требования к
данным, проверяет гипотезы и вместе с экспертами
анализирует полученные результаты.
Аналитик должен обладать системными знаниями, т.к.
помимо задач анализа он решает технические вопросы,
связанные с базами данных, интеграцией с источниками
данных, тестированием и производительностью.

26. Руководитель проекта

Обязанности руководителя проекта:
Координация действий всех участников
проекта;
Решение спорных вопросов;
Планирование и контроль сроков проекта.

27. Принципы анализа данных

Группа
Построение
и
Согласно
концепции
Группа
задач условны!
Выделенные соответствия
использование
моделей
–
анализа
данных
делит
«Извлечение
ианализ Тьюки опирается
Т.к.
подтверждающий
этап
подтверждающего
методы
решения
задач
визуализация
данных»
на методы математической статистики, а в
анализа.
напо2 основные
группы:
своим
современной задачам
аналитике данных – это не
Извлечение
и
соответствует
этапу
только статистические методы, но и
визуализация
данных;
разведочного
анализа
различные
описательные
и
данных.
Построение
предсказательные имодели Data Mining,
использование
алгоритмы машинного обучения.
моделей.

28. Извлечение и визуализация данных

Для получения новой информации об исследуемом
объекте или явлении не обязательно строить новые
сложные модели, часто достаточно посмотреть на
данные в нужном формате, для того чтобы сделать
определенные
выводы
или
выдвинуть
предположение о характере зависимостей в
системе и получить ответ на интересующий нас
вопрос.
Основным методом представления данных в
«нужном» для аналитика формате
является
визуализация!

29. Извлечение и визуализация данных

При визуализации данных
аналитик
некоторым
образом формулирует
запрос к ИС, извлекает
нужную информацию из
различных источников и
просматривает
полученные результаты,
на
основе
которых
исследователь
делает
выводы, что является
результатом анализа.

30. Способы визуализации данных

31. Достоинства визуализации:

Простота
создания
и
введения
в
эксплуатацию систем визуализации;
Возможность
применения
систем
визуализации
в
любой
сфере
профессиональной
деятельности
–
используются знания эксперта в предменой
области и его способность принимать во
внимание многие трудно формализуемые
факторы, влияющие на бизнес.

32. Два способа визуализации одних и тех же данных по продажам в аптечной сети:

По таблице трудно сделать
какие-либо выводы
относительно
распределения продаж по
отделам!
Представив данные таблицы в
виде суммы продаж и
построив столбчатую
диаграмму видно, что самые
большие продажи приходятся
на Аптека 1!

33. Недостатки визуализации

Неспособность людей найти достаточно
сложные и нетривиальные зависимости;
Невозможность отделить знания эксперта и
тиражировать знания.

34. Этапы моделирования

Построение моделей – универсальный способ
изучения окружающего мира, позволяющий
обнаруживать
зависимости,
прогнозировать,
разбивать на группы и решать множество других
важных задач.
Полученные
таким
образом
знания
можно
тиражировать!
Тиражирование
знаний
–
способность
инструментальных средств для создания моделей,
которые обеспечивают конечным пользователям
возможность
использовать
результаты
моделирования для принятия решений, без
необходимости понимания методик, при помощи
которых эти результаты получены.

35. Этапы моделирования

1. Формулирование цели моделирования.
2. Подготовка и сбор данных.
3. Поиск модели, объясняющей имеющиеся
данные.
4. Проверка полученной модели практикой.
5. Добавление/исключение факторов (при
необходимости).
6. Эксплуатация.
7. Мониторинг и актуализация модели.

36. Формулирование цели моделирования

При
построении
модели
необходимо отталкиваться от
задачи,
которую
можно
рассматривать как получение
ответа
на
интересующий
заказчика вопрос.
Например, ПО – розничная
торговля, вопросы –
Сколько товаров будет продано в
следующем периоде?
Какие клиенты откликаются на
акции?
и т.д.

37. Подготовка и сбор данных

Аналитика
данных
опирается
на
использование данных,
подготовить
и
систематизировать
которые – отдельная
задача.
Принципы
подготовки
данных будут подробно
рассмотрены
на
следующих занятиях.

38. Поиск модели

На данном этапе необходимо
подобрать модель, которая бы
объяснила
имеющиеся
данные, а также позволила бы
добиться
эмпирически
обоснованных
ответов
ни
интересующие вопросы.
В
аналитике
данных
предпочтение
отдается
самообучающимся
алгоритмам,
машинному
обучению,
методам
Data
Mining,
однако
бывают
ситуации, когда достаточно
статистических или «наивных»
методов.

39. Проверка модели

Модель показывает приемлемые
Качество
результаты на практике модели
ее
неудовлетворительное
процесс
запускают в эксплуатацию.
построения
модели
повторяется.
Важно:
модель
должна
улучшать
существующий
бизнес-процесс
Кроме
этого,
любые
модели
компании.
подвержены
«старению»
и
Как правило, опытная эксплуатация
нуждаются
актуализации
делается вв режиме
АВ-теста:
аналитика
данных объектов
–
это
одна
часть
обрабатывается
по «старой»
непрерывный
процесс!
схеме, а вторая – на основе
модели.
Результаты
сравниваются, в том числе с
применением
методов
статистической
обработки
данных эксперимента.

40. Стандарт CRISP-DM

Рассматривая аналитику данных как процесс,
необходимо
затронуть
межотраслевой
стандарт CRISP-DM (англ.: Cross Industry
Standard Process for Data Mining) – это
популярная методология ведения проектов в
аналитике
данных,
особенно
при
использовании многофакторных моделей,
построенных на принципах машинного
обучения.
Стандарт CRISP-DM был разработан в конце 1996
года.