Программные измерительные мониторы. Лекция 5

1.

Лекция 5 Программные
измерительные мониторы

2.

Средства обеспечивающие регистрацию
измерений параметров называются
измерительными мониторами.

3.

К измерительным мониторам предъявляются
следующие требования:
1) Минимальные искажения в системе при
выполнении программы.
Искажения бывают двух типов:
- временные искажения - искажения связанные
с рассогласованием реального времени
наступления события и временем регистрации
параметра монитором;
- пространственные искажения - сам монитор
и собираемые им данные занимают место в
памяти ЭВМ и препятствуют размещению
объектов программы).

4.

2) Достаточная точность измерений.
3) Достаточно высокая разрешающая
способность (по интервалам времени фиксации
событий).
4) Независимость от измеряемой системы
(программы).
5) Низкая стоимость (Чтобы не отпугивать
пользователей.)
6) Простота использования.

5.

6.

Аппаратные измерительные
мониторы (АИМ)
АИМ подразделяются на встроенные и
автономные.
Встроенные
АИМ - включаются в
аппаратуру системы заводом изготовителем,
как правило, для выполнения тестовых
измерений
в
фиксированном
наборе
внутренних точек устройств системы.

7.

Основное назначение встроенного АИМ для проверки, контроля и настройки ВС.
Но т.к. в его составе могут находиться
триггеры состояний схемы, счетчики и
некоторые другие устройства, то они могут
использоваться
и
для
измерения
параметров программ.

8.

Автономные
АИМ
подключаются
к
измерительным точкам извне системы через
специальные разъемы и могут задавать
любые точки доступные для измерений.
Автономные АИМ наиболее общий случай.

9.

Программные измерительные
мониторы (АИМ)
Программные измерительные мониторы
(ПИМ) - это совокупность команд или программ,
выполняемых исключительно с целью проведения
измерений.
Обычно ПИМ – это специальные программные
средства, под управлением которых производится
выполнение программы
на той же ЭВМ, на
которой измеряемая программа и должна
выполняться. ПИМ собирает данные о
ходе
выполнения программ и накапливает их в памяти.

10.

Команды ПИМ должна выполнять
сама
измеряемая
система,
приводит
к
возникновению искажений.
Количество искажений зависит от частоты
обнаруживаемых
событий
и
от
операций,
выполняемых
измерителем при обнаружении каждого события.
В настоящее время существует несколько типов
таких программных средств.
Особое
место
среди
них
занимают
профилировщики.

11.

Профилировщики (анализаторы
процесса
выполнения программ) - это
программы,
позволяющие получить ряд количественных
данных
о
процессе
выполнения
объекта
разработки
(снять
профиль
разрабатываемой программы) и на основании
этих данных выявить в программе "узкие
места", отрицательно сказывающиеся на
эффективности ее работы.

12.

Профиль программы может
содержать,
например, следующую информацию о процессе
выполнения программы:
как и на что расходуется время работы
программы;
сколько раз выполняется данная строка
программы;
сколько раз и какими модулями вызывается
данный модуль программы.

13.

Что такое профилирование данных?
Профилирование данных — это процесс, который
помогает оценить целостность данных, предоставляя
полную разбивку их статистических характеристик,
таких как количество ошибок, количество
предупреждений, процент дубликатов, а также
минимальное и максимальное значение, что позволяет
проводить детальную проверку данных. Это
обеспечивает детальную оценку качества данных.
Профилирование данных дает ценную информацию об
информации, которую организация может использовать
в своих целях для принятия решений и анализа.

14.

Что такое профилирование данных?
Программное обеспечение для профилирования
данных использует аналитические алгоритмы,
помогающие тщательно изучить данные и
определить их достоверность.
Эти инструменты играют жизненно важную роль,
помогая предприятиям оптимизировать свою
стратегию обработки данных с учетом ее принципов
и целей.

15.

Чем может помочь инструмент
профилирования данных?
Инструменты профилирования данных обеспечивают
достоверность процессов обработки данных, поскольку
помогают вам ответить на следующие вопросы,
касающиеся ваших данных:
Содержат ли данные нулевые или пустые значения?
Есть ли аномалии в данных? Есть ли у них четкий
рисунок?
Содержит ли он повторяющиеся значения? Каково
соотношение уникальных значений?
Каков диапазон важности исходных данных?
Находятся ли минимальные и максимальные значения
в ожидаемом диапазоне?

16.

Варианты использования инструментов
профилирования данных
Обычно профилирование данных используется в
следующих процессах:
1. Перенос данных предполагает перемещение
большого объема информации между разнородными
системами, такими как файлы, базы данных и т. д.
Однако перед началом передачи через , важно
профилировать данные, чтобы выявить несоответствия
и устранить их, чтобы обеспечить согласованность
между старой и новой системами.
Инструменты
профилирования
данных
на
начальном этапе миграции позволяют снизить риск
ошибок, дублирования и неверной информации.

17.

Варианты использования инструментов
профилирования данных
2. Интеграция данных
создает целостное
представление
корпоративных
данных
путем
объединения
их из разрозненных источников.
Профилирование данных на начальном этапе
интеграции гарантирует отсутствие ошибок при
интеграции исходных данных и загрузке в файл. ,
концентратор данных или витрина данных.

18.

Варианты использования инструментов
профилирования данных
3. Очистка данных - основной этап процесса подготовки
данных, помогает исправлять ошибки и дедупликацию для
проверки достоверности и актуальности данных. Однако
очистка данных полезна только для тех наборов данных,
которые, как вы заведомо, повреждены. Часто данные
низкого качества остаются в системе незамеченными и
необработанными до тех пор, пока они не будут выявлены с
помощью профилирования данных.
Таким образом, инструменты
качества данных и
профилирования методично исследуют огромные объемы
данных для выявления неверных полей, нулевых значений и
других статистических нарушений, которые могут повлиять
на обработку данных.

19.

Как выбрать правильный инструмент
профилирования данных
Источники данных и совместимость:
Прежде всего, выбранное вами решение должно обеспечивать
возможность подключения к необходимым источникам данных.
Многие решения для профилирования предлагают готовые
соединители с возможностью создания собственных.
Возможности профилирования данных:
Чем больше, тем лучше. Некоторые общие функции, которые
должны присутствовать в выбранном вами инструменте, — это
сводная статистика, обнаружение данных, оценка качества
данных и анализ распределения данных. Ведущие на рынке
инструменты выходят за рамки и предлагают
надежные
дополнительные функции, в том числе правила и визуализация
данных.

20.

Простота в использовании:
Инструменты без кода становятся все более
популярными. Они позволяют бизнес-пользователям
выполнять сложные
задачи, от профилирования до
моделирования хранилища данных. Компании также могут
выбрать альтернативы с открытым исходным кодом.
Однако они
требуют программирования и требуют
сложного обучения.
Поддержка ETL:
После того как данные собраны и профилированы, их
необходимо очистить, подготовить и структурированно
загрузить в центральное место. Надежные инструменты,
позволяют командам ETL использовать свои данные и
создавать сквозные , предлагая полный .

21.

Потребности в обработке данных и масштабируемость:
Как много данных нужно обработать? Объем
принимаемых данных зависит от размера бизнеса и влияет на
выбор групп инструментов. Объем данных, генерируемых и
собираемых компаниями, может увеличиться в будущем, что
потребует масштабируемого программного обеспечения.
Автоматизация и планирование:
Эти две функции помогают еще больше оптимизировать
рабочие процессы и повысить эффективность. Автоматизация
задач по профилированию помогает командам больше
сосредоточиться на анализе данных и исправлении ошибок в
режиме реального времени, чем на подготовке данных.

22.

Поддержка и отзывы:
Командам следует искать поставщика, который
проводит тщательное обучение на основе
индивидуальных сценариев использования.

23.

Факторы, которые следует учитывать при
выборе инструментов профилирования данных
Типы данных и форматы: Первым и главным фактором при выборе
инструмента профилирования данных является его способность
обрабатывать различные типы и форматы данных. Данные в современных
организациях могут принимать различные формы, такие как
структурированные, полуструктурированные и неструктурированные
данные. Выбранный инструмент должен поддерживать распространенные
форматы данных, такие как CSV, JSON, XML и файлы базы данных. Кроме
того, он должен эффективно обрабатывать различные типы данных, включая
числовые, текстовые и датовые данные.
Масштабируемость и производительность: Объем данных, генерируемых
и обрабатываемых организациями, быстро растет. Следовательно,
выбранный вами инструмент профилирования данных должен быть
масштабируемым для работы с большими наборами данных без ущерба для
производительности. Он должен эффективно решать задачи профилирования
данных, даже при работе с огромными объемами информации. Эффективный
инструмент должен иметь возможности оптимизации для быстрого
выполнения задач профилирования с минимальным потреблением ресурсов.

24.

Факторы, которые следует учитывать при
выборе инструментов профилирования данных
Интеграция с существующими системами: Чтобы избежать нарушения
существующего рабочего процесса и обеспечить бесперебойный процесс
профилирования данных, важно выбрать инструмент, который легко
интегрируется с существующей инфраструктурой данных вашей
организации. Инструмент профилирования данных должен иметь
возможность подключаться к различным источникам данных, таким как
базы данных, и облачное хранилище, позволяющее профилировать данные,
где бы они ни находились.
Пользовательский интерфейс и простота использования: Удобство для
пользователя играет жизненно важную роль в максимальном раскрытии
потенциала инструмента и облегчении его внедрения в командах.
Инструмент должен иметь интуитивно понятный и хорошо продуманный
пользовательский интерфейс, который позволяет пользователям всех уровней
квалификации эффективно перемещаться и использовать его функции.
Простой в использовании инструмент профилирования данных способствует
сотрудничеству и позволяет аналитикам данных и бизнес-пользователям
принимать решения на основе данных.

25.

Факторы, которые следует учитывать при
выборе инструментов профилирования данных
Настройка и расширяемость Каждая организация имеет уникальные
требования к профилированию данных. Следовательно, инструмент должен
предлагать уровень настройки для адаптации к конкретным потребностям
бизнеса. Требуется инструмент, который позволит пользователям создавать
собственные правила, показатели и алгоритмы профилирования, что позволит
им адаптировать процесс профилирования в соответствии с их целями по
обеспечению качества данных. Кроме того, решающее значение имеет
расширяемость инструмента, поскольку он должен интегрироваться со
сторонними плагинами или расширениями для расширения функциональных
возможностей.
Стоимость и лицензия: Стоимость является решающим фактором в любом
процессе выбора инструмента. Оцените модели ценообразования различных
инструментов профилирования данных и подумайте, насколько они
соответствуют бюджету вашей организации. Кроме того, обратите внимание
на условия лицензирования, так как некоторые инструменты могут
накладывать ограничения на количество пользователей или источников
данных. Убедитесь, что выбранный инструмент обеспечивает оптимальное
соотношение цены и качества и соответствует вашим потребностям в
профилировании данных.