Хранилище данных: основы и архитектура

1.

ХРАНИЛИЩЕ
ДАННЫХ
Data Warehouse
Централизованная аналитическая среда для
сбора, хранения и анализа данных из разных
источников
Продажи
Клиенты
Товары
Время
Учебная презентация • 10 слайдов
ХРАНИЛИЩЕ ДАННЫХ
1

2.

1. Что такое хранилище данных?
Главное: это не просто «большая база», а среда, ориентированная на аналитику.
Определение
Зачем оно нужно
• централизованное хранилище данных из нескольких
источников
• данные подготовлены для запросов, отчетов и анализа
• обычно хранится история за месяцы и годы
• собрать разрозненные сведения в одном месте
• привести данные к единому виду
• отделить аналитические запросы от повседневных операций
4 характерных признака
1
Предметность
данные организованы вокруг тем:
продажи, клиенты, товары
2
Интеграция
разные источники приводятся к
согласованному виду
3
Историчность
можно сравнивать периоды и
видеть изменения
4
Стабильность
данные в основном используются
для чтения и анализа
Источники: Oracle Database Data Warehousing Guide; IBM Data Warehouse overview.
ХРАНИЛИЩЕ ДАННЫХ
2

3.

2. Почему обычной базы данных недостаточно?
Операционная БД и хранилище решают разные задачи.
Операционная система (OLTP)
Хранилище данных
Покупка → запись заказа → изменение остатка → оплата
Продажи за 3 года → сравнение регионов → прогноз
много коротких операций
длинные аналитические запросы
актуальные данные «на сейчас»
история и агрегированные показатели
важна корректность каждой транзакции
важна скорость чтения и анализа
Идея: операционная БД помогает «проводить бизнес-операции», а хранилище —
«понимать, что происходило и почему».
Источник: Oracle — различия OLTP и Data Warehousing.
ХРАНИЛИЩЕ ДАННЫХ
3

4.

3. Как данные попадают в хранилище
Типичный поток: источники → подготовка → хранилище → аналитика.
1
2
3
4
5
Источники
Извлечение
Преобразование
Хранилище
BI / отчеты
CRM
ERP
сайты
файлы
берем
нужные данные
очистка
объединение
форматы
единая
аналитическая
база
дашборды
графики
SQL
ETL = Extract → Transform → Load
ELT = Extract → Load → Transform
Оба подхода решают одну задачу: сделать исходные данные пригодными для
надежного анализа. Современные платформы часто применяют ELT, выполняя
преобразования уже внутри аналитической системы.
Источники: IBM Data Warehouse overview; Oracle ETL Overview.
ХРАНИЛИЩЕ ДАННЫХ
4

5.

4. Из чего состоит хранилище данных?
Упрощенная архитектура без привязки к конкретному продукту.
Источники данных
CRM • ERP • приложения • внешние данные
Загрузка / интеграция
ETL/ELT • проверки • очистка • расписание
Хранилище
таблицы • история • метаданные • правила доступа
Аналитический слой
семантические модели • OLAP • SQL
Потребители
BI • отчеты • дашборды • аналитики
Безопасность и управление действуют на всех уровнях: доступы, аудит, качество данных, мониторинг.
Источник: Microsoft Learn — Data Warehouse architecture и security.
ХРАНИЛИЩЕ ДАННЫХ
5

6.

5. Как организуются данные: факты и измерения
Простой пример звездной схемы (star schema).
ВРЕМЯ
ТОВАР
год • месяц • день
категория • бренд
Таблица фактов
ПРОДАЖИ
количество • сумма
дата • товар • клиент
КЛИЕНТ
МАГАЗИН / РЕГИОН
город • сегмент
точка • регион
Факт = что произошло и сколько
Измерение = по какому признаку рассматриваем факт
ХРАНИЛИЩЕ ДАННЫХ
6

7.

6. Что такое OLAP и что можно анализировать?
OLAP помогает быстро смотреть на одни и те же данные с разных сторон.
Пример вопроса
«Сколько продали
за месяц — по регионам
и категориям товаров?»
Одна база → несколько измерений
Время
Регион
январь → февраль → март
Алматы → Астана → Караганда
Товар
Метрика
электроника → телефоны
выручка • количество
прибыль
Типовые операции: фильтрация, группировка, сравнение периодов,
детализация и агрегирование.
Источник: Oracle — OLAP / задачи хранилищ; Microsoft Learn — analytics & modeling.
ХРАНИЛИЩЕ ДАННЫХ
7

8.

7. Преимущества и ограничения
Хранилище данных полезно там, где нужен единый и исторический взгляд на информацию.
ПРЕИМУЩЕСТВА
ОГРАНИЧЕНИЯ
• единая версия согласованных данных
• удобный анализ истории
• отчеты и дашборды из общего источника
• меньше нагрузки на операционные системы
• можно задавать централизованные правила
доступа
• проектирование и интеграция требуют времени
• качество аналитики зависит от качества исходных
данных
• ETL/ELT-процессы нужно контролировать
• хранение больших объемов может быть дорогим
• сырые неструктурированные данные часто удобнее
хранить в Data Lake
Ключевой принцип
Хранилище должно не просто хранить данные, а делать их пригодными для надежного,
повторяемого анализа.
Источник: IBM — Data Warehouse; Microsoft Learn — Data Warehouse / Data Lake.
ХРАНИЛИЩЕ ДАННЫХ
8

9.

8. Хранилище данных, обычная БД и Data Lake
Три подхода различаются прежде всего задачей и формой работы с данными.
Параметр
Операционная БД
Хранилище данных
Data Lake
Главная цель
проведение операций
анализ и отчетность
хранение больших массивов данных
Тип нагрузки
много коротких транзакций
аналитические запросы
разные сценарии, включая data science
Данные
актуальные записи
подготовленные + история
часто сырые, в исходном виде
Структура
схема для операций
модели для аналитики
schema-on-read / гибкая структура
Пример
оформить заказ
продажи по месяцам
логи, JSON, изображения, сырые файлы
Важно: Data Lake и хранилище не обязательно конкуренты — современные аналитические платформы могут сочетать оба подхода.
Источник: Microsoft Learn — Data Lake и Fabric Data Warehouse; Oracle — OLTP vs DW.
ХРАНИЛИЩЕ ДАННЫХ
9

10.

9. Итог: зачем нужно хранилище данных?
Главное, что стоит запомнить.
1
2
Собирает
данные из разных источников в одном аналитическом контуре
Подготавливает очищает, объединяет и согласует данные
3
Сохраняет
историю
4
Помогает
анализировать SQL, BI, отчеты и дашборды работают с единым набором данных
позволяет сравнивать периоды и находить тенденции
Формула: источники → ETL/ELT → хранилище → аналитика → решения
Проверенные источники: IBM Data Warehouse overview; Oracle Database Data Warehousing Guide; Microsoft Learn (Data Warehouse, Data Lake, Fabric).
ХРАНИЛИЩЕ ДАННЫХ
10