Основы хранения, обработки и управления данными предприятия. Лекция 4

1. Основы хранения, обработки и управления данными предприятия

L/O/G/O
1

2. 1. Формы организации компьютерных данных

Структура данных представляет собой совокупность
элементов данных, между которыми указаны связи
Связи устанавливают порядок доступа к данным в процессе их
обработки
Данные внутри компьютеров организованы в соответствии
с моделью структуризации, устанавливающей правила
размещения и возможные операции над ними
2

3. 1. Формы организации компьютерных данных

Недостатки файловой
системы:
1.Чрезмерная избыточность
данных;
2.Высокая зависимость
Формы представления
внутримашинных
прикладных программ от
информационных
ресурсов
изменения
структуры файлов
Базы данных
Иерархические
Реляционные
Файлы
Хранилища
данных
Базы
знаний
Сетевые
Рисунок 1.
3

4. 2. Основные понятия баз данных и СУБД

4

5. Основные понятия баз данных и СУБД

База данных − это совокупность взаимосвязанных
данных, структурированных таким образом, что
достигается их минимальная избыточность и
максимальная независимость от прикладных
программ
Предметная область — это отражение в БД
совокупности объектов реального мира с их связями,
относящихся к некоторой области знаний и имеющих
практическую ценность для пользователей. Каждому
объекту присущ ряд характерных для него свойств,
признаков, параметров
5

6. Требования, предъявляемые к базе данных

• Целостность
- поддержка полной, непротиворечивой и
адекватно отражающей предметную область
Покупка оплачена
информации;
Транзакция
«ОПЛАТА ПОКУПКИ»
База данных (БД)
Сумма оплаты списана с
- устойчивость
хранимых данных к разрушению и
расчетного счета
уничтожению, связанных с неисправностями
технических средств, системными ошибками и
ошибочными
действиями
пользователей
Рисунок
2 - Транзакция
«Оплата покупки»
6

7. Требования, предъявляемые к базе данных

Актуальность
Многоаспектное использование данных
Информацию о данных принято называть
«метаданными», т. е. «данными о данных»
7

8. Основные аспекты концепции БАЗ ДАННЫХ

1. Структура данных должна быть независима от
программ, использующих эти данные
2. Все управление данными должно осуществляться
централизовано
8

9. 3. Системы управления базами данных (СУБД)

СУБД – совокупность средств и методов сбора, регистрации,
хранения, упорядочения, поиска, выборки и представления
информации в базах данных;
СУБД обеспечивает сохранность данных и их
конфиденциальность.
Современная СУБД содержит:
• программные средства создания БД,
• средства манипуляции данными,
• сервисные средства.
9

10.

Информационная система
Прикладные
программы
СУБД
База
данных
Рисунок 3 - Использование БД в информационной системе
10

11. Многопользовательские СУБД

Персональные
СУБД
Многопользовательские
СУБД
• Oracle,
• Sybase,
• Informix,
• Ingress,
• Tiberio
отечественные:
• Postgres Pro,
• ClickHouse
• «Ред База Данных».
Dbase,
Clipper,
FoxPro,
Paradox,
Microsoft Access;
11

12. ТРЕБОВАНИЯ, ПРЕДЪЯВЛЯЕМЫЕ К СОВРЕМЕННЫМ БД И СУБД:

ВРЕМЯ ОТКЛИКА (ДОСТУПА);
ПРОСТОТА ОБНОВЛЕНИЯ ДАННЫХ
МНОГОПОЛЬЗОВАТЕЛЬСКИЙ РЕЖИМ
НЕЗАВИСИМОСТЬ ДАННЫХ
БЕЗОПАСНОСТЬ ДАННЫХ
СТАНДАРТИЗАЦИЯ ПОСТРОЕНИЯ И ЭКСПЛУАТАЦИИ
АДЕКВАТНОСТЬ ОТОБРАЖЕНИЯ ДАННЫХ ПРЕДМЕТНОЙ
ОБЛАСТИ
• ДРУЖЕЛЮБНЫЙ ИНТЕРФЕЙС ПОЛЬЗОВАТЕЛЯ
12

13. Уровни моделирования информационной системы (БД):

• Концептуальный
• Логический
• Внутренний
13

14. 4.1. Понятие модели данных

Модель данных – это совокупность взаимосвязанных
структур данных и операций над этими структурами
Концептуальный уровень проектирования: производится смысловое
(семантическое) описание информационного содержания предметной области
Инфологическая модель данных Концептуальная
формализованное описание предметной области)
описываемую на естественном языке, не привязанную
к какой-либо конкретной СУБД
14

15. Модели данных

Даталогическая
Логическая модель данных
(создается на базе инфологической)
Описание предметной области с учетом
используемой для создаваемой базы
логической модели данных
.
Физическая модель данных
Совокупность формата данных и
перечня операций над ними может
рассматриваться как простейшая, но четко
определенная модель данных.
15

16. Трехуровневая модель организации баз данных

Обслуживание
клиентов
Анализ
продаж
Учет заказов
Внешняя модель
данных «Заказ»
Внешняя модель
данных «Продажи»
Внешняя модель
данных «Клиенты»
Инфологическая модель данных
Обобщенное, не привязанное к конкретной ЭВМ и СУБД
описание предметной области
(набор данных, их типов, размерностей, связей)
Даталогическая модель данных
Схема с использованием логической модели конкретной
СУБД
СУБД
Внутренняя модель данных
Описание хранимых данных конкретной
СУБД
Операционная система
Физическая база данных
16

17. 4.2.Структуры данных БД

• Поле это наименьшая поименованная единица данных,
к которой система управления может обращаться
непосредственно.
• Запись это поименованная совокупность полей,
которая отражает состояние объекта в конкретный
момент времени.
• Файл поименованная совокупность записей одного
типа
• Базы данных это поименованная совокупность
файлов, обрабатываемая системой управления данных
17

18. 4.3 Модели данных логического уровня проектирования БД

18

19. Иерархическая модель данных

Отдел
П
Начальник
П1
Т1
Т2
П2
Т3
Т1
Сотрудники
П3
Т3
Т2
Т3
19

20. Сетевая модель

П1
П2
П3
Т1
Т2
Т3
20

21. РЕЛЯЦИОННЫЕ БД

В реляционной модели БД взаимосвязи
представляются в виде двумерных таблиц,
называемых отношениями
21

22. Реляционная модель

R1(поставщики)
R2(товары)
П1
T1
П2
Т2
П3
Т3
R3(поставка товаров)
П1
Т1
П1
Т2
П1
Т3
П2
Т1
П2
Т3
П3
Т2
П3
Т3
Отношения обладают
следующими свойствами:
− каждый элемент таблицы
представляет собой один элемент
данных (повторяющиеся группы
отсутствуют);
− элементы столбца имеют
одинаковую природу, и столбцам
однозначно присвоены имена;
− в таблице нет двух одинаковых
строк;
− строки и столбцы могут
просматриваться в любом порядке
вне зависимости от их
информационного содержания.
22

23. Основные понятия реляционной модели

Д о м е н о м называют множество подобных
значений одного и того же типа. Например, домен
номеров поставщиков - это множество допустимых номеров
поставщиков
А т р и б у т − это имя множества значений,
входящих в домен (имя столбца)
Кортеж − это множество элементов из доменов,
составляющих одну строку отношения (таблицы)
О т н о ш е н и е − это множество кортежей,
отражающих свойства объекта.
23

24. Основные операции реляционной алгебры:

− Выборка, Проекция, Соединение
24

25. 5. ОСНОВНЫЕ ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ РЕЛЯЦИОННЫХ БАЗ ДАННЫХ

25

26. 1.Уникальность полей.

• Каждое поле любой таблицы должно
быть уникальным
Это означает, что в таблице не должно быть двух
одинаковых строк. Например, не имеет смысла
хранить две записи в таблице об одном и том же
певце, даже если он спел много песен на диске
26

27. 2. Первичные ключи.

• Каждая таблица должна иметь уникальный
идентификатор, или первичный ключ,
который может состоять из одного или
нескольких полей таблицы
27

28. 3. Функциональная зависимость

каждого поля таблицы от первичного
ключа
Для каждого значения первичного ключа должно
быть только одно значение любого из столбцов
данных, и это значение должно относиться к
объекту таблицы
(Во-первых, Вы не должны включать зарплату
сотрудника в таблицу «ЗАКАЗЫ». Во-вторых,
информация в таблице должна полностью
описывать объект)
28

29. 4. Независимость полей

Вы должны иметь возможность изменять
значения любого поля (не входящего в
первичный ключ), и это не должно повлечь
за собой необходимости изменения
другого поля
29

30. СВЯЗИ МЕЖДУ ТАБЛИЦ

Для Для
извлечения
из нескольких
связиданных
субъектов
базы таблиц
данных
необходимо установить между ними связи
(например: СОТРУДНИК и ШТАТНОЕ
РАСПИСАНИЕ)
в реляционной
модели
Для связи с родительской
таблицей в дочернее
отношение реляционной
модели
Атрибут,
устанавливаются
связи
подобавляется
значениям
который называется внешним ключом
ключевых атрибутов.
Связь «один к одному» означает, что
каждая запись в первой таблице связана
только с одной записью во второй таблице.
30

31. Связь «один – ко – многим» означает, что любая запись в первой таблице может быть связана с несколькими записями во второй. Но

в то же время любая запись второй таблицы может быть связана
только с одной записью первой таблице
Покупатель
1
Связь таблиц ПОКУПАТЕЛЬ → ЗАКАЗ
Заказ
Код
покупателя
Фамилия
телфон
Код
заказа
Код
покупателя
Дата доставки
5432
Морозов
543-9809
365
5432
12.11.04
5433
Васин
543-9802
366
5433
18.11.04
……
….
….
…
……
…
8765
Крылова
434-6503
476
8765
25.01.05
31

32. ПРИМЕР СВЯЗЕЙ в базе данных

32

33. 5. Хранилища данных

33

34. Понятие хранилища данных

для
поддержки процесса принятия решений.
Главное назначение хранилища
- обеспечивать быстрое выполнение
произвольных аналитических запросов.
34

35. Требования к данным в хранилище:

Предметная ориентированность
(Все данные о бизнес-объекте собираются из множества различных источников, очищают,
согласовывают, дополняют, агрегируют и представляют в единой, удобной для их анализа форме.
Агрегированные показатели представляют обобщенные, синтетические измерители, объединяющие
в одном общем показателе многие частные. Так, например, показатель объема промышленного
производства в стране представляет суммарную величину объемов производства всех
промышленных предприятий.)
Интегрированность
(Все данные о разных бизнес объектах взаимно согласованы и хранятся в едином
общекорпоративном хранилище.
Не изменчивость
после того, как исходные данные были согласованы, сверены и внесены в хранилище,
они остаются неизменными
Поддержка хронологии
данные хронологически структурированы и отражают историю за достаточный для
выполнения задач бизнес-анализа и прогнозирования период времени.
35

36. 1. Модель данных в ХД

Моделью данных в ХД служат гиперкубы
Оси куба представляют собой
измерения, по которым
откладывают параметры,
относящиеся к анализируемой
предметной области, например,
названия товаров и названия
месяцев года.
36

37. OLAP-кубы

37

38. Срез

38

39. Обычный плоский отчет составленный из OLAP-куба

39

40. 4. Базы знаний

БЗ − одна из форм информационного моделирования,
представляющая собой знания человека (эксперта,
специалиста), помещенные в память компьютера в
соответствии с некоторой моделью
Основные модели представления знаний:
− Семантические сети;
− Деревья выводов;
− Деревья целей;
− Нечеткие множества
− Онтологии;
− Нейросети;
− Фреймы
40

41. ЗНАНИЯ

осознанные
Декларативные
неосознанные
Нейролингвистические
Интуитивные
Процедурные
Ассоциативные
Знания – это проверенный практикой результат изучения
реальной действительности, отражающий содержание
объектов, процессов и явлений действительности
41

42. Знания – это проверенный практикой результат изучения реальной действительности, отражающий содержание объектов, процессов и

1.ЗНАНИЯ
Знания – это проверенный практикой результат
изучения реальной действительности,
отражающий содержание объектов, процессов и
явленийдействительности
42

43. Экспертные системы

Экспертные системы — это автоматизированные системы
позволяющие проводить анализ, выполнять классификацию,
ставить диагноз и выдавать консультации
Экспертная система, освобождающая сотрудника от
рутинной и однообразной аналитической работы, позволяя
заниматься только вопросами творческого характера,
называется «Ассистент»
43