Интеллектуальный анализ данных

1. Интеллектуальный анализ данных

Лекция №1

2. Цель курса

Понять, что представляет собой
интеллектуальный анализ данных,
зачем он нужен, каковы его основные
направления и области применения,
а также изучить основные его методы.
2 / 14

3. Индукция

Наблюдения
(данные)
Анализ
Знания
3 / 14

4. Дедукция

Прогноз
Формирование
Знания
4 / 14

5. Направления исследований

1
Интеллектуальный анализ данных
(Data Mining)
2
Машинное обучение
(Machine Learning)
3
Обнаружение знаний в базах данных
(Knowledge Discovery in Databases)
4
Распознавание образов
(Pattern Recognition)
5 / 14

6. Общее название

Индуктивное формирование
баз знаний (ИФБЗ) –
получение общего знания о некоторой
совокупности объектов на основании анализа
единообразного описания конечного множества
отдельных представителей этой совокупности –
обучающей выборки (данных).
6 / 14

7. Некоторые области применения

1
2
3
4
Медицинская и
техническая
диагностика,
научные
исследования,
робототехника,
автоматизация
Анализ
информации
в интернете:
поиск, реклама,
популярность,
плагиат,
модерация
Военные
приложения:
мониторинг,
распознавание
образов,
прогноз, тактика
и стратегия
Маркетинговые
исследования,
финансовые
рынки,
кредиты,
телефония,
банкинг
7 / 14

8. Основные понятия

Модель
предметной
области
Обучающая и
контрольная
выборка
Модельные
и реальные
данные
Алгоритм
обучения
ИФБЗ
База
знаний
Задачи
классификации
и кластеризации
8 / 14

9. Различия подходов

Модели предметных областей:
проблемно-независимые vs. проблемно-ориентированные.
Исследование алгоритмов обучения:
на модельных данных vs. на реальных данных.
Результат работы:
детерминированный vs. вероятностный.
Объяснение результатов:
хорошо интерпретируемое vs. плохо интерпретируемое.
9 / 14

10. Компоненты формирования

Индуктивная база знаний
формирование
Модель
Постановка
задачи
Алгоритм
обучения
Обучающая
выборка
10 / 14

11. Экспертное формирование хорошо интерпретируемых баз знаний

Поток
объектов
Экспертная система
Эксперт
предметной
области
Верифицированный
результат
Хорошо
интерпретируемая
база знаний
Система
верификации
результата
Решатель
задач
Результат
Объяснение
результата
Пользователь
11 / 14

12. Современные проблемы

Высокая стоимость и трудозатраты
на создание и сопровождение
экспертных баз знаний
Субъективность, неполнота и
«ручное» формирование
экспертных баз знаний
Необходимость
нового подхода
Плохая интерпретируемость
современных индуктивно
формируемых баз знаний
12 / 14

13. Индуктивное формирование хорошо интерпретируемых баз знаний

Система
индуктивного
формирования
баз знаний
Поток
объектов
Экспертная система
Обучающая
выборка
Верифицированный
результат
Хорошо
интерпретируемая
база знаний
Система
верификации
результата
Решатель
задач
Результат
Объяснение
результата
Пользователь
13 / 14

14. Темы для курсовых проектов

1.
История развития экспертных систем
2.
Обзор современных экспертных систем
3.
Проблемно-ориентированные и проблемно-независимые
системы интеллектуального анализа данных
4.
Современные направления исследований в области
индуктивного формирования баз знаний
5.
Базы знаний. История развития, современное состояние
6.
Обзор редакторов баз знаний
7.
Классификация алгоритмов обучения
14 / 14