Консолидация данных

1. Консолидация данных

2. OLTP -On-Line Transaction Processing

3. Системы поддержки принятия решений -информационные СППР

4. Концептуальная схема ХД

5. Краткий обзор архитектур ХД

В настоящее время разработано несколько
архитектур хранилищ:
• Реляционные;
• Многомерные;
• Гибридные;
• Виртуальные.
ХД можно разделить на одноплатформенные и
кросс-платформенные.
Одноплатформенные ХД строятся на базе только
одной СУБД, а кросс-платформенные могут
строиться на базе нескольких СУБД.

6. Реляционные ХД

• Реляционные ХД используют классическую
реляционную модель, характерную для
оперативных регистрирующих OLTP-систем.
• Данные хранятся в реляционных таблицах, но
образуют специальные структуры
эмулирующие многомерное представление
данных.
Такая технология обозначается аббревиатурой
ROLAP – Relational OLAP.

7. Многомерные ХД

• Многомерные ХД реализуют многомерное
представление данных на физическом
уровне в виде многомерных кубов.
Данная технология получила название MOLAP
– Multidimensional OLAP.

8. Гибридные ХД

• Гибридные ХД сочетают в себе свойства как
реляционной, так и многомерной моделей
данных.
• В гибридных ХД детализированные данные
хранятся в реляционных таблицах, а
агрегаты – в многомерных кубах.
Такая технология построения ХД называется
HOLAP – Hybrid OLAP.

9. Виртуальные ХД

• Виртуальные ХД не являются хранилищами
данных в привычном понимании. В таких
системах работа ведется с отдельными
источниками данных, но при этом
эмулируется работа обычного ХД.
• Иначе говоря, данные не консолидируются
физически, а собираются непосредственно
в процессе выполнения запроса.

10. Многомерные хранилища данных

Многомерная модель данных - это многомерные
кубы, или гиперкубы упорядоченные многомерные массивы OLAP-кубы
(аббревиатура OLAP расшифровывается как On-Line
Analytical Processing – оперативная
аналитическая обработка).
Технология OLAP - методика оперативного
извлечения нужной информации из больших
массивов данных и формирование отчетов.

11. Принцип организации многомерного куба

12. Измерения и факты в многомерном кубе

13. Работа с измерениями

В процессе поиска и извлечения из гиперкуба
нужной информации над его измерениями
производится ряд действий, наиболее
типичными из которых являются:
• сечение (срез);
• транспонирование;
• свертка;
• детализация.

14. Сечения гиперкуба

15.

Транспонирование (вращение) обычно
применяется к плоским таблицам, полученным,
например, в результате среза, и позволяет
изменить порядок представления измерений
таким образом, что измерения, отображавшиеся
в столбцах, будут отображаться в строках, и
наоборот.
В ряде случаев транспонирование позволяет
сделать таблицу более наглядной.

16. Результат свертки исходной таблицы по измерению «Товар»

17. Реляционные хранилища данных

На основе реляционных хранилищ данных (РХД)
строятся ROLAP-системы, и эта идея тоже
принадлежит Кодду.
• В основе технологии РХД лежит принцип:
• измерения хранятся в плоских таблицах так
же, как и в обычных реляционных СУБД,
• а факты (агрегируемые данные) – в отдельных
специальных таблицах этой же базы данных.
• таблица фактов является основой для
связанных с ней таблиц измерений.

18. Схема построения РХД «звезда»

19. Схема построения РХД «снежинка»

20. Гибридные хранилища данных HOLAP (Hybrid OLAP) OLAP).

21.

22. Витрины данных

Витрина данных – специализированное локальное
тематическое хранилище, подключенное к
централизованному ХД и обслуживающее
отдельное направление деятельности.
Концепция витрины данных заключается в
выделении профильных данных в отдельный
набор и в организации его хранения в отдельной
многомерной БД, подключенной к
централизованному РХД.

23. Консолидация с использованием витрин данных

24.

25. Виртуальные хранилища данных

Виртуальное хранилище данных - система, которая
работает с разрозненными источниками данных и
эмулирует работу обычного хранилища данных,
• извлекая,
• преобразуя и
• интегрируя данные
непосредственно в процессе выполнения запроса.
ВХД поддерживает историческую информацию только за
период актуальности OLTP-систем, применение такого
хранилища оправданно лишь тогда, когда исторические
данные для анализа не требуются.

26. Виртуальное ХД

27. Вариант организации ВХД