Лекция_практ_прим_мет_МО_2_испр

1.

ТЕХНОЛОГИИ ОБРАБОТКИ
ИНФОРМАЦИИ
Лекция 2 Практическое применение методов
машинного обучения в data-driven подходе
доцент кафедры информатики Глотова М.И.
1

2.

Подготовка данных по CRISP-D
Понимание
бизнеса
Развертывание
Понимание
данных
Оценивание
Подготовка
данных
Моделирование
2

3.

Пусть цель бизнеса - некая интересующая его
величина y (например, вероятность оттока клиента).
Также есть данные — x (например, обращения клиента в
техподдержку), от которых может зависеть y.
Задача проекта — найти функцию f, которая лучше всего
моделирует исследуемую зависимость y = f(x).
Под моделью мы будем понимать формулу f(x), либо
программу, реализующую эту формулу.
Любая модель описывается, во-первых, своим алгоритмом
обучения, во-вторых, набором своих параметров.
Обучение модели – процесс поиска таких параметров, при
которых модель лучше всего аппроксимирует наблюдаемые
данные. Атрибуты, обладающие достаточной предсказательной
способностью, будем называть предикторами. В случае с
обучением «без учителя» (например, в задачах кластеризации),
обучающая выборка состоит только из x.
Скоринг – это применение найденной функции f(x) к
новым данным, по которым y пока неизвестен.
3

4.

Подготовка данных по CRISP-D
4

5.

Основные понятия
• Переменная - свойство или характеристика, общая для всех
изучаемых объектов, проявление которой может изменяться от
объекта к объекту ;
• Значение переменной является проявлением признака
• Переменные могут являться числовыми данными либо
символьными;
• Генеральная совокупность - вся совокупность изучаемых
объектов, интересующая исследователя;
• Параметры - числовые характеристики генеральной
совокупности;
• Статистики - числовые характеристики выборки;
• Гипотеза - частично обоснованная закономерность знаний,
служащая либо для связи между различными эмпирическими
фактами, либо для объяснения факта или группы фактов;
• Измерение - процесс присвоения чисел характеристикам
изучаемых объектов согласно определенному правилу (шкале).
5

6. Шкалы измерений

Дихотомическая
= , (≠)
Номинальная
Порядковая
< , (>)
Интервальная
+ , (−)
Относительная
∗ , (/)
6

7. Атрибуты измерительных шкал

• Упорядоченность данных означает, что значения этих данных
можно выстроить в некотором порядке.
• Интервальность пунктов шкал означает, что интервал между
любой парой чисел, соответствующих измеряемым свойствам,
больше, меньше или равен интервалу между другой парой
чисел.
• Нулевая точка или точка отсчета означает, что набор чисел,
соответствующих измеряемым свойствам, имеет точку отсчета,
обозначаемую за ноль, что соответствует полному отсутствию
7

8. Номинальная шкала

• Шкала наименований (номинальная или классификационная)
представляет собой конечный набор обозначений для не связанных
между собой состояний (свойств) объекта.
• Шкала такого типа используется для классификации объектов по
каким-либо качественным признакам.
• Цель измерения – определить принадлежность к той или иной
группе.
• Атрибуты измерительных шкал (упорядоченность, интервальность,
нулевая точка) – отсутствуют.
• Математические операции – не применимы.
• Возможные действия:
Считать число попаданий в заданный класс;
Вычислять относительные частоты попадания измерений в разные классы.
Номинальные шкалы:
Номера автомашин;
Номера телефонов;
Коды городов;
Географические названия и .т.д
8

9. Порядковые шкалы

• Порядковая шкала (ординальная, ранговая, предпочтений)
позволяет выстраивать значения в определенном порядке
по каким-либо признакам.
• Порядковая шкала не имеет определенной количественной
меры.
• Цель измерения – упорядочивание объектов в
пространстве и во времени.
• Атрибуты измерительных шкал: интервальность, нулевая
точка – отсутствуют; упорядоченность - присутствует.
• Математические операции – не применимы.
Примеры
Шкала порядка:
Шкала твердости минералов;
Шкала силы ветра;
Шкала сортности товара и.т.д
9

10. Порядковые шкалы

• Единственными типами отношений между неколичественными
значениями шкалы могут быть:
- Равенство одинаковых значений порядковых
переменных величин, соответствующих объектам одной
категории;
- Неравенство разных значений переменных величин,
соответствующих объектам одной категории;
- Отношения «больше» или «меньше» между разными
значениями переменных величин, соответствующих
объектам одной категории.
10

11. Интервальные шкалы

Интервальная шкала применяется, когда упорядочивание
значений измерений можно выполнить настолько точно, что
известны интервалы между любыми двумя из них.
• Шкала интервалов – количественная шкала.
• Цель измерения – определить принадлежность к той или
иной группе.
• Атрибуты измерительных шкал: упорядоченность,
интервальность - присутствуют, нулевая точка – отсутствует.
• Математические операции – выполняются над
интервалами.
• Возможные действия:
Считать число попаданий в заданный класс;
Вычислять относительные частоты попадания измерений в
разные классы.
11

12. Относительные шкалы

• Шкала отношений (подобий) представляет собой численные
измерения.
• Цель измерения – определить во сколько раз свойство
одного объекта превосходит такое же свойство другого
объекта.
• Атрибуты измерительных шкал: упорядоченность,
интервальность, нулевая точка – присутствуют.
• Математические операции – доступны с учетом единиц
измерения.
• Возможные действия: количественное сравнение
обрабатываемых величин, измеренных в одних и тех же
единицах.
Шкала отношений:
Шкалы длины, веса, электрического сопротивления и .т.д
12

13. Понятие очистки данных

Виды качества данных
• Данные высокого качества
• Данные содержащие критические ошибки
-невозможность загрузки в хранилище данных
• Данные содержащие некритические ошибки
-аномальные значения
- пропуски
- дубликаты
- противоречия
Очистка данных – процедура корректировки данных, которые в
каком-либо смысле не удовлетворяют определённым критериям
качества, то есть содержат нарушения структуры данных,
противоречия, пропуски, дубликаты, неправильные форматы и т.д.
13

14. Обогащение данных

Обогащение данных – процесс насыщения данных новой
информацией, которая позволяет сделать их более ценными
и значимыми с точки зрения решения той или иной
аналитической
задачи.
Внешнее обогащение предполагает привлечение
дополнительной информации из внешних источников.
Внутреннее обогащение предполагает повышение
информативности и значимости данных за счёт изменения и
реорганизации.
14

15. Подготовка данных

Подготовка данных является важнейшим этапом,
от качества выполнения которого зависит
возможность получения качественных результатов
всего процесса Data Mining. Кроме того, следует
помнить, что на этап подготовки данных, по
некоторым оценкам, может быть потрачено до 80%
всего
времени,
отведенного
на
проект.
15

16. Определение и анализ требований к данным

На этом этапе осуществляется так называемое
моделирование данных, т.е. определение и анализ
требований к данным, которые необходимы для
осуществления Data Mining. При этом изучаются
вопросы
распределения
пользователей
(географическое, организационное, функциональное);
вопросы доступа к данным, которые необходимы для
анализа, необходимость во внешних и/или внутренних
источниках
данных;
а
также
аналитические
характеристики системы (измерения данных, основные
виды выходных документов, последовательность
преобразования информации и др.).
16

17. Сбор данных

На этом этапе осуществляется кодирование
некоторых данных. Допустим, одним из атрибутов
клиента является уровень дохода, который должен
быть представлен в системе одним из значений:
очень низким, низким, средним, высоким, очень
высоким. Необходимо определить градации уровня
дохода, в этом процессе потребуется сотрудничество
аналитика с экспертом в предметной области.
Возможно, для таких преобразований данных
потребуется написание специальных процедур.
17

18. Определение необходимого количества данных

При определении необходимого количества данных
следует учитывать, являются ли данные упорядоченными или
нет. Если данные упорядочены и мы имеем дело с временными
рядами, желательно знать, включает ли такой набор данных
сезонную/цикличную компоненту. В случае присутствия в
наборе данных сезонной/цикличной компоненты, необходимо
иметь данные как минимум за один сезон/цикл. Если данные
не упорядочены, то есть события из набора данных не связаны
по времени, в ходе сбора данных следует соблюдать
следующие правила.
Количество записей в наборе.
Соотношение количества записей в наборе и количества
входных переменных.
Набор данных должен быть репрезентативным и
представлять как можно больше возможных ситуаций.
18

19. Предварительная обработка данных

Оценивание качества данных.
Качество данных (Data quality) - это критерий,
определяющий полноту, точность, своевременность и
возможность интерпретации данных. Данные могут быть
высокого качества и низкого качества, последние - это так
называемые грязные или "плохие" данные. Данные высокого
качества - это полные, точные, своевременные данные,
которые поддаются интерпретации.
Прогноз.
Многие компании обращают больше внимания на
качество данных, поскольку низкое качество стоит денег в том
смысле, что ведет к снижению производительности, принятию
неправильных бизнес-решений и невозможности получить
желаемый результат, а также затрудняет выполнение
требований законодательства.
19

20. Качество данных

Данные низкого качества, или грязные данные - это
отсутствующие, неточные или бесполезные данные с точки
зрения
практического
применения
(например,
представленные в неверном формате, не соответствующем
стандарту).
Различные типы грязных данных, среди них выделены
следующие группы:
• грязные данные, которые могут быть автоматически обнаружены и
очищены;
• данные, появление которых может быть предотвращено;
• данные, которые непригодны для автоматического обнаружения и
очистки;
• данные, появление которых невозможно предотвратить.
Наиболее распространенные виды грязных данных:
• пропущенные значения;
• дубликаты данных;
• шумы и выбросы.
20

21. Пропущенные значения (Missing Values)

Некоторые значения данных могут быть пропущены в
связи с тем, что:
• данные вообще не были собраны (например, при
анкетировании скрыт возраст);
• некоторые атрибуты могут быть неприменимы для
некоторых объектов (например, атрибут "годовой доход"
неприменим к ребенку).
Как мы можем поступить с пропущенными данными?
• Исключить объекты с пропущенными значениями из
обработки.
• Рассчитать новые значения для пропущенных данных.
• Игнорировать пропущенные значения в процессе
анализа.
• Заменить пропущенные значения на возможные
значения.
21

22. Восстановление пропущенных значений

Метод исключения некомплектных объектов
При отсутствии у ряда объектов значений каких-либо переменных
некомплектные объекты удаляются из анализа. Подход легко
реализуется и может быть удовлетворительным при малом числе
пропусков. Однако иногда он приводит к серьезным смещениям и
обычно не очень эффективен.
Главный недостаток такого подхода обусловлен потерей
информации при исключении неполных наблюдений.
•Методы с заполнением
• Заполнение средними.
• Заполнение с пристрастным подбором
Подстановка с подбором внутри групп
Подбор ближайшего соседа
• Заполнение с помощью регрессии
• Методы взвешивания
• Методы моделирования с помощью функции максимального
правдоподобия
22

23. Дублирование данных (Duplicate Data)

Дубликатами называются записи с одинаковыми
значениями всех атрибутов. Наличие дубликатов в наборе
данных может являться способом повышения значимости
некоторых записей. Такая необходимость иногда возникает
для особого выделения определенных записей из набора
данных. Однако в большинстве случаев, продублированные
данные являются результатом ошибок при подготовке
данных.
Как мы можем поступить с продублированными
данными? Существует два варианта обработки дубликатов.
При первом варианте удаляется вся группа записей,
содержащая дубликаты. Этот вариант используется в том
случае, если наличие дубликатов вызывает недоверие к
информации, полностью ее обесценивает. Второй вариант
состоит в замене группы дубликатов на одну уникальную
запись.
23

24. Шумы и выбросы

Выбросы - резко отличающиеся объекты или наблюдения в наборе
данных. Шумы и выбросы являются достаточно общей проблемой в
анализе данных. Выбросы могут как представлять собой отдельные
наблюдения, так и быть объединенными в некие группы. Задача
аналитика - не только их обнаружить, но и оценить степень их влияния на
результаты дальнейшего анализа.
Достаточно распространена практика проведения двухэтапного
анализа - с выбросами и с их отсутствием - и сравнение полученных
результатов.
24

25. Очистка данных

Очистка данных (data cleaning, data cleansing или scrubbing)
занимается выявлением и удалением ошибок и несоответствий в данных с
целью улучшения качества данных.
Проблемы с качеством встречаются в отдельных наборах данных таких как файлы и базы данных. Когда интеграции подлежит множество
источников данных (например в Хранилищах, интегрированных системах
баз данных или глобальных информационных Интернет-системах),
необходимость в очистке данных существенно возрастает.
Это происходит оттого, что источники часто содержат разрозненные
данные в различном представлении. Для обеспечения доступа к точным и
согласованным
данным
необходима
консолидация
различных
представлений данных и исключение дублирующейся информации.
Специальные средства очистки обычно имеют дело с конкретными
областями - в основном это имена и адреса - или же с исключением
дубликатов.
25

26. Методы очистки данных

Метод очистки данных должен удовлетворять ряду критериев:
1. Он должен выявлять и удалять все основные ошибки и
несоответствия, как в отдельных источниках данных, так и при интеграции
нескольких источников.
2. Метод должен поддерживаться определенными инструментами,
чтобы сократить объемы ручной проверки и программирования, и быть
гибким
в
плане
работы
с
дополнительными
источниками.
3. Очистка данных не должна производиться в отрыве от связанных со
схемой преобразования данных, выполняемых на основе сложных
метаданных.
4. Функции для очистки и других преобразований данных должны
быть определены декларативным образом и подходить для использования
в других источниках данных и в обработке запросов.
5. Инфраструктура технологического процесса должна особенно
интенсивно поддерживаться для Хранилищ данных, обеспечивая
эффективное и надежное выполнение всех этапов преобразования для
множества источников и больших наборов данных.
26

27. Этапы очистки данных

1. Анализ данных.
2. Определение порядка и правил
преобразования данных.
3. Подтверждение.
4. Преобразования.
5. Противоток очищенных данных.
27

28. Методы трансформации данных

Трансформация данных – комплекс методов и алгоритмов,
направленных на оптимизацию представления и форматов данных с точки
зрения решаемых задач и целей анализа. Трансформация данных не ставит
целью изменить информационное содержание данных. Её задача
представить эту информацию в таком виде, чтобы она могла быть
использована наиболее эффективно.
• Преобразование упорядоченных данных
• Квантование
• Сортировка
• Слияние
• Группировка и разгруппировка
• Настройка набора данных
• Табличная подстановка значений
Преобразование в уникальные числовые коды
Двоичное кодирование
Кодирование с помощью дополнительной информации
• Вычисляемые (производные) значения
• Нормализация
28

29. Квантование

Квантование – процедура преобразования данных, состоящая из 2-х
шагов. На первом шаге диапазон значений переменной разбивается на
заданное число интервалов, каждому из которых присваивается некоторый
номер (уровень квантования). На втором шаге каждое значение заменяется
номером интервала квантования.
Равномерное (однородное) квантование – преобразование, при
котором диапазон значений переменной разбивается на интервалы
одинаковой длины. Имеет смысл, если значения распределены равномерно
по всему диапазону значений.
Неравномерное (однородное) квантование – преобразование, при
котором диапазон значений переменной разбивается на интервалы
различной длины (асимметричные). Имеет смысл, если в значениях нет
пропусков или сгустков.
29

30. Нормализация

Десятичное масштабирование
Минимаксная нормализация
Нормализация с помощью стандартного
преобразования
Нормализация с помощью поэлементных
преобразований
30

31. Десятичное масштабирование

В данном методе нормализация производится путём перемещения
десятичной точки на число разрядов, соответствующее порядку