Похожие презентации:
Модель типового проекта создания хранилища данных
1. Модель типового проекта создания хранилища данных
Распределённые базы данных и хранилища данных2. Создание хранилища данных
Проектировщик хранилища данных должен иметь план проектированияхранилища данных.
Каждый член команды должен знать, какова цель проекта, какие задачи
решаются в рамках проекта, какие задачи и в какие сроки должен решить
каждый член команды.
Плохо спроектированная структура хранилища данных обычно приводит
к сложности реализации хранилища данных и к увеличению сроков
проекта. Плохо организованный проект создания хранилища данных,
даже при качественном проектировании, часто приводит к провалу
проекта.
3. Жизненный цикл разработки хранилища данных
4. Подготовка данных
Точная идентификация бизнес-информации, которая должна храниться в хранилище данных.Идентификация предметных областей, которые составят набор предметных областей
хранилища данных.
Управление границами каждой предметной области.
Разработка масштабируемой архитектуры, точное определение и выбор структурных компонент.
Определение процедур извлечения, очистки, агрегации, преобразования и проверки данных.
Определение корректных уровней суммирования числовых показателей для поддержки бизнесрешений.
Определение и разработка процедур своевременного обновления данных.
Разработка дружественных интерфейсов и мощных инструментов аналитической обработки
данных.
Разработка словаря метаданных для обеспечения общения с хранилищем данных пользователей.
Обучение персонала для работы с приложениями хранилища данных.
Определение и регламентирование процесса сопровождения и обслуживания хранилища
данных.
5. Модель жизненного цикла хранилища данных
Жизненный цикл продукта – набор определенным образом расположенныхво времени этапов, которые проходит продукт от момента его создания до
момента его утилизации.
Стадии процесса создания и разработки хранилища данных:
планирование;
формулирование требований к системе складирования данных;
анализ;
проектирование;
конструирование;
внедрение;
поддержка.
6. Планирование
Задачи:выбор
стратегии
реализации
и
методологии разработки;
анализ задач, для которых создается
хранилище данных;
анализ ресурсов разработки;
выбор архитектуры хранилища данных;
определение бюджета проекта;
разработка сценариев использования
хранилища данных;
сбор метаданных для хранилища данных.
7. Разработка требований
Задачи:определение требований владельца хранилища данных;
определение требований конечных пользователей;
определение технологических требований;
определение архитектурных требований.
8. Анализ
Задачи:разработка логической модели данных для хранилища данных и киосков
данных;
определение набора инструментальных средств для работы с хранилищем
данных.
9. Проектирование
Задачи:проектирование архитектуры
данных
(логическое
и
физическое проектирование);
проектирование архитектуры
приложений
(анализ
запросов
и
фиксация
процессов
взаимодействия
хранилища
данных
с
внешними источниками и
пользователями).
10. Построение
Цель этапа – разработка программ и физической базы данных подхранилище данных.
Результат этапа – комплекс программ, работающих с хранилищем
данных.
11. Внедрение
Результат этапа – всесторонняя подготовка перехода хранилища данныхв промышленную эксплуатацию.
12. Поддержка
Поддержка работоспособности и масштабируемости программноаппаратного обеспечения хранилища данных.Сбор, очистка, преобразование, загрузка и актуализация данных в
соответствии с установленными процедурами.
Поддержка автоматизированных мест пользователей.
Техническая поддержка со стороны разработчика хранилища данных.
13. Бизнес-модель типового проекта создания хранилища данных
14. Процесс разработки хранилища данных
Этапы:формулирование требований;
моделирование данных;
разработка приложений хранилища
данных;
создание вычислительной среды;
проектирование
аналитических
отчетов;
определение процедур извлечения,
преобразования и загрузки данных
(ETL);
проверка качества;
настройка производительности;
передача
системы складирования
данных в эксплуатацию.
15. Формулирование требований
Задача – идентификация требований заказчика хранилища данных иоформление их в виде документа.
Время выполнения – от двух недель до двух месяцев.
Результат – каталог требований, утвержденный заказчиком, и уточненный
план проекта, который точно определяет используемые ресурсы и даты
контрольных точек проверки хода выполнения проекта.
Потенциальные опасности – конфликт внутрикорпоративных интересов и
необходимость наладить коммуникации для успешного выполнения и
этапа и проекта в целом.
16. Создание вычислительной среды
Задача – создание информационно-вычислительной среды, в которойбудет разрабатываться хранилище данных.
Время выполнения – от двух до четырех недель.
Результат – спецификации на программно-аппаратное обеспечение и
программное обеспечение.
Потенциальные опасности – использование одного сервера базы данных
для моделирования различных вычислительных сред.
17. Моделирование данных
Задача – разработка логической и физической моделей данных дляхранилища данных.
Время выполнения – от двух недель до двух месяцев.
Результат – перечень источников данных и их описание, а также
логическая и физическая модели данных.
Потенциальные
опасности
–
недостаточная
осведомленность
проектировщиков о предметной области хранилища данных и низкое
качество информации, поставляемой аналитиками предметной области.
18. Определение процедур извлечения, преобразования и загрузки данных
Задача – идентификация и определение процедур извлечения, очистки(фильтрации), преобразования и загрузки данных.
Время выполнения – от одной недели до полутора месяцев.
Результат – схема соответствия данных исходных систем и хранилища
данных, программы или ETL-инструменты.
Потенциальные опасности – недооценка временных параметров,
стремление сделать процесс ETL как можно более всеобъемлющим.
19. Проектирование аналитических отчетов
Задача – проектирование и разработка аналитических отчетов наспроектированной структуре данных.
Время выполнения – до двух недель.
Результат – спецификация кубов данных (измерения и метрики) и
разработанные отчеты.
Потенциальные опасности – не уделяется достаточного внимания
оптимизации времени получения отчета.
20. Разработка приложений
Задача – формирование программной среды, в которой пользователибудут извлекать данные из хранилища данных и просматривать
предопределенные отчеты.
Время выполнения – от одной недели до месяца.
Результат – документация, описывающая механизм доставки
пользователям отчетов и спецификации экранных форм.
Потенциальные опасности – ложное представление о достаточной
квалификации пользователей хранилища данных для работы
с ИТ-технологиями.
21. Настройка производительности
Задача – добиться оптимальной производительности ЕТL-процессов,производства отчетов и их доставки конечному пользователю.
Время выполнения – не более двух недель.
Результат – перечень рекомендаций по настройке производительности.
Потенциальные опасности – использование вычислительной среды
разработки хранилища данных, которая не масштабируется к
вычислительной среде эксплуатации хранилища данных.
22. Проверка качества
Задача – убедиться, что хранилище данных готово к эксплуатации.Время выполнения – от одной до четырех недель.
Результат – план тестирования хранилища данных и заключение о
готовности хранилища данных к эксплуатации.
Потенциальные опасности – недостаточная квалификация людей,
проверяющих хранилище данных, в области складирования данных.
23. Передача в эксплуатацию
Задача – передача системы складирования данных заказчику ипредставление ее конечным пользователям.
Время выполнения – от одного дня до нескольких недель.
Результат – акт приемки-сдачи.
Потенциальные опасности – неготовность потенциальных пользователей
к работе с хранилищем данных.
24. Сопровождение и модификация
Процессысопровождения
хранилища
данных
требуют
от ИТ-специалистов иной квалификации, чем процессы его разработки.
Если необходимость в модернизации хранилища данных возникает спустя
несколько месяцев после сдачи его в эксплуатацию, это говорит о том, что
проект не был успешным. Потребность в модернизации реально может
сформироваться спустя шесть месяцев после интенсивной его
эксплуатации.