Похожие презентации:
Хранилища данных. Интеграция информационных ресурсов в хранилищах данных. (Лекция 6)
1. Хранилища данных. Лекция 6. Интеграция информационных ресурсов в хранилищах данных
Хранилища данных.Лекция 6. Интеграция информационных
ресурсов в хранилищах данных
Антон Викторович Кудинов,
доцент кафедры ВТ
2. Содержание
Проблема интеграции данныхЧто такое SQL Server 2005 Integration
Services
Планирование ETL проекта для
хранилища данных
2
3. Проблема интеграции данных
ETL процессы (Extraction, Transformation, Load)60-80% времени
• Извлечение и очистка данных
• Трансформации данных
• Загрузка данных в хранилище
3
4. Три метода интеграции данных
КонсолидацияФедерализация
Распространение
4
5. Консолидация данных
5Данные собираются из нескольких первичных систем
и интегрируются в одно постоянное место хранения.
Такое место хранения может быть использовано для
подготовки отчетности и проведения анализа, как в
случае хранилища данных, или как источник данных
для других приложений.
6. Федерализация данных
6Обеспечивает единую виртуальную картину
нескольких первичных источников данных. Для
получения сведений о некотором процессе,
обрабатываемом в нескольких оперативных
приложениях, процессор федерализации данных
извлекает данные из соответствующих первичных
складов данных, интегрирует их таким образом, чтобы
они отвечали виртуальной картине и требованиям
запроса, и отправляет результаты бизнесприложению, от которого пришел запрос.
7. Распространение данных
7Подразумевает их копирование из одного места в
другое. Этот подход обычно используется для
операций реального времени и базируется на
механизмах "проталкивания", т. е. является
событийно управляемым.
8. Интеграция на основе метамодели
89. Задачи при интеграции данных
9Технологические
Организационные
Экономические
10. Технологические задачи
Гетерогенные источники данных с различнымиформатами
Структурированные, полуструктурированные и
неструктурированные данные
Данные поступают в разное время
Очень большие объемы данных
Качество данных (пропуски, нет смысла, ошибки)
Придание смысла данным при слиянии их из разных
форматов при неполноте данных в отдельных источниках
Преобразование данных в унифицированный формат,
пригодный для бизнес-анализа
10
11. Технологические требования
Загрузка данных в наибыстрейшее время(нет возможности «ночного» периода, 7 х 24 часа On-Line)
Потребность загрузки данных в несколько приемников
практически одновременно
Постоянная доступность данных с минимальными задержками
в актуальности данных
Разнообразие источников данных
(OLTP, OLAP, веб-сервисы, неструктурированные данные,
унаследованные системы)
Разнообразие приемников данных
(порталы, персонализированные отчеты, PDA, мобильные
телефоны )
Масштабируемость и производительность
11
12. Организационные задачи
Получение серьезной поддержки руководствакомпании команде по проекту интеграции данных,
настоять на координации и компромиссах по выбору
форматов данных и бизнес-процессов получения
данных в подразделениях компании
Определиться с единообразными технологиями для
разного круга задач, так как многие подразделения
используют совершенно разные системы и способы.
Люди консервативны в своих привычках, не любят
переучиваться. До 60% времени при получении и
интеграции данных – ручной процесс
12
13. Экономические задачи
Интеграция данных – дорогостоящий процесс.Факторы, увеличивающие стоимость проекта:
Административные преграды, недостаток
координации, недостаточная поддержка руководства
Недостаточная функциональность имеющихся средств
для ETL процессов, необходимость разработки нового
ETL кода
13
14. SQL Server 2008 Integration Services
SQL Server 2008 Integration ServicesСлужбы Integration Services - платформа для построения
высокопроизводительных решений интеграции данных и решений
потока операций, включая операции извлечения, преобразования
и загрузки (ETL) для хранилищ данных.
Графические инструменты
Мастера для построения и отладки пакетов
Источники данных для извлечения данных
Источники назначения для загрузки данных
Преобразования для очистки, статистической обработки,
слияния и копирования данных
• Задачи для выполнения функций потока операций
• Служба управления и администрирования пакетов
• API-интерфейсы для программирования объектной модели
14
15. До Integration Services
До Integration ServicesAlerts and escalation
Call center data: semi-structured
Text Mining
Staging
Staging
Legacy data: binary files
Handcoding
Cleansing
and
ETL
Application database
15
ETL
Data mining
ETL
Staging
ETL
Warehouse
Reports
Mobile
data
16. Integration Services 2008
Integration Services 2008Оповещения
Text mining
Компоненты
Data mining
компоненты
Нереляционные
источники
Слияние
Стандартные
источники БД
Очистка
данных
PDA
CALL центры – полуструктурированные данные
OLAP
системы
Унаследованные системы
Приложения БД
16
SQL Server Integration Services
Отчет
17. Архитектура SQL Server 2008 Integration Services
Архитектура SQL Server 2008 Integration ServicesТермины
• Источник (и) - Sources
• Приёмник(и) - Destinations
• Преобразование данных (Transformation)
•Время исполнения
• Пакет (Package)
• Задача (Task)
• Буфер (Buffer)
• Труба (pipeline) потока данных
Конструктор служб SSIS
• Поток управления (Control Flow)
• Поток данных
(Data Flow)
• Обработчики событий в пакете и
объектов пакета (Event Handlers)
• Просмотр содержимого пакета
• Просмотр выполнения пакета
17
18. Типовые сценарии в Integration Services
Типовые сценарии в Integration ServicesСлияние данных из гетерогенных хранилищ данных
Очистка, преобразование и стандартизация данных
Заполнение хранилищ данных и витрин данных
Встраивание бизнес-аналитики в процесс
преобразования данных
Автоматизация административных функций и загрузки
данных
18
19. Пример: Очистка данных
Пример: Очистка данныхПакет SSIS
Data Cleaning
Sample из
Integration
Services
Samples.
Fussy Lookup –
нестрогое
соответствие
новых клиентов
старым
записям
Fussy Grouping
– нечеткий
поиск фамилий
дубликатов.
19
20. Планирование ETL проекта для хранилища данных
Планирование ETL проекта дляхранилища данных
Гетерогенные
источники
данных
Staging
область
Хранилище
данных
Киоски данных
20
Конечные
пользователи
21. Заполнение хранилища данных в SSIS
Источники и приемники данныхОценка и проверка исходных данных
Промежуточное хранение данных
(Staging storage)
Загрузка в хранилище и киоски данных
21
22. Источники и приемники данных
Выбрать источники данных (все форматы)Выбрать приемники данных (DW, Data Mart),
определить структуру записываемых данных
Определить время извлечения и записи данных
(extraction and load windows),
длительность извлечения и загрузки данных
Документировать диаграмму потока данных:
описать список источников, методов доступа,
учетные записи, протоколы, характеристики сети
22
23. Промежуточное хранение данных (Staging storage)
Промежуточное хранение данных(Staging storage)
В сложных ETL процессах может потребоваться промежуточное хранение
данных после чтения перед загрузкой в хранилище:
Реляционная БД
Файлы «как есть» - raw (binary) files
После извлечения данных:
Необходимость быстро освободить источник данных
Выполнение ETL с заданной контрольной точки без повторного рестарта
Перед загрузкой данных:
Асинхронное поступление данных, ожидание всех данных
Фиксируется моментальный снимок данных на заданную дату,
возможность получения отчетности по этому снимку данных
Возможность рестарта с контрольной точки без необходимости выполнять
пакет с самого начала
Возможность провести трансформацию некоторых данных на SQL Server
перед окончательной загрузкой в хранилище
Возможность проверить и удалить невалидные данные или дубликаты
после окончания трансформаций перед загрузкой
23
24. Загрузка в хранилище и киоски данных
Загрузка измерений и мерСоздание первичных и вторичных ключей
Создание индексов
Удаление временных таблиц
Обработка измерений и секций кубов
24
25. Спасибо за внимание!
25[email protected]