аудит решений ПО

1.

Аудит
процессов управления выбором
и внедренияем ПО

2.

Цель аудита – проверка соответствия уровня сервисов,
предоставляемых с помощью ПО
целям и задачам,
определяемым руководством бизнеса
при оптимальных затратах

3.

Виды аудита ПО
1. Аудит производительности в условиях промышленной эксплуатации.
(Application Performance Index)
2. Аудит производительности в условиях роста нагрузки. (нагрузочное
тестирование)
3. Поиск проблем, снижающих производительность.
4. Аудит покрытия потребностей и задач бизнеса с точки зрения ПО.
(бизнес анализ ПО)
5. Проверка правильности работы алгоритмов ПО. (функциональное
тестирование).
6. Аудит качества кода (quality cod revue)
7. Аудит ПО с точки зрения удобства пользователей (usability testing).
8. Аудит интерфейсов между различными конфигурациями ПО
предприятия.

4.

Аудит процессов ПО
1. Аудит процессов управления работами, связанными с ПО.
2. Аудит процессов управления персоналом, связанным с ПО.
3. Аудит процессов управления требованиями к ПО.
4. Аудит процессов проектирования ПО.
5. Аудит процессов разработки.
6. Аудит процессов документирования версий ПО и написания
пользовательских инструкций.
7. Аудит процессов тестирования.
8. Аудит процессов обучения пользователей.
9. Аудит процессов поддержки ПО.

5.

Проверка квалификации
персонала, связанного с ПО
1. Проверка квалификации менеджеров.
2. Проверка квалификации аналитиков и консультантов.
3. Проверка квалификации разработчиков.
4. Проверка квалификации тестеров.
5. Проверка квалификации тренеров.
6. Проверка квалификации сотрудников группы поддержки.

6.

Проверка квалификации
персонала, связанного с ПО
Цель аудита – определение слабых и сильных сторон персонала.
На основании аудита квалификации даются рекомендации по
дополнительному обучению сотрудников, ротации, изменению
тарифных уровней, целей, схем мотивации, увольнению.
Заказчик аудита ИТ директор. Редко – руководитель предприятия.
Исполнитель – HR отдел, внешний консультант, аналитики ИТ
департамента.
Периодичность. Тестирование удобно проводить раз в полгода
перед аттестацией.

7.

Проверка квалификации
персонала, связанного с ПО
Трудозатраты.
Риски.
Последовательность работ.

8.

Аудит квалификации персонала может включать в себя:
1. Тестирование знаний в предметной области.
2. Тестирование знаний существующих конфигураций.
3. Тестирование навыков. К примеру, восстановления бэкапа
конфигурации.
4. Для программистов cod revue
5. Оценка производительности, по количеству выполненных заданий с
учетом их сложности.
6. Система оценки 360 градусов и ее аналоги.
7. Опросники для самостоятельной оценки знаний и навыков.
8. Оценка психологических данных на соответствие психограмме
должности.

9.

Смежные виды аудита ПО
1. Аудит ПО с точки зрения управления данными. (data quality
management)
2. Аудит ПО с точки зрения отказоустойчивости и информационной
безопасности.
3. Аудит инфраструктуры с точки зрения обеспечения
работоспособности ПО.

10.

В рамках аудита производительности ПО обычно выявляются
проблемы:
• в коде (обычно это самая частая проблема)
• в сбалансированности серверного оборудования
• в настройках системного окружения
• в настройках СУБД
• в настройках и размещении базы данных
• в не оптимальных бизнес-процессах (наличие исполнения
«ненужной» работы)
• в лишних или избыточно точных объемных данных

11.

Методика APDEX – стандарт оценки
производительности корпоративных
приложений
Apdex (Application Performance Index) — индекс производительности
приложений. Открытый международный стандарт, разработанный с
целью формирования объективной оценки показателей
производительности корпоративных информационных систем.

12.

Преимущества методики
•Методика Apdex предоставляет готовый алгоритм,
приводящий к простому значению разнородные факторы и
множество статистических данных о производительности.
Главное преимущество методики — в простом результате,
для быстрой оценки состояния производительности ИС.
•Методика
бизнес
ориентирована,
отслеживаемые
операции ранжируются по приоритетности с точки зрения
бизнеса. Это позволяет правильно акцентировать
внимание при мониторинге и оптимизации большого
количества операций.

13.

Преимущества методики
•Интервалы значений Apdex имеют логическое соответствие
простым критериям оценки «хорошо», «плохо», «неприемлемо»,
которые понятны всем.
•Индекс строится на основании фактических данных,
полученных при работе всех пользователей приложения.
Результирующая оценка производительности по методике Apdex
является общей, фактической и объективной.
•При проведении работ по ускорению (оптимизации) операций,
целевые значения Apdex могут являться предметом договора.
Apdex может служить объективным критерием для оценки работ
по повышению производительности.

14.

Apdex является числовой мерой удовлетворенности
пользователей производительностью приложений.
Для расчета Apdex собирается множество статистических
данных о времени исполнения операций приложением.
Далее производится компоновка данных, с учетом факторов
влияния, и математическое преобразование, которое приводит все
эти данные к значению в интервале от «0» до «1» («0» = все
пользователи разочарованы, никто не может дождаться ответа от
приложения, «1» = все пользователи довольны, приложение у всех
работает очень быстро).

15.

Целевое время отклика.
Время отклика — это время прошедшее между моментом,
когда пользователь что-то делает (клик мыши по «кнопке», факт ввода
или открытия формы и т.д.), и когда система (клиент, сеть, серверы)
реагирует таким образом, что пользователь может приступить к
дальнейшему процессу.
Целевое время отклика — это требуемая длительность
исполнения каждой операции из перечня ключевых операций.

16.

Целевое время отклика.
Целевое время в алгоритме Apdex является назначаемой
величиной. Целевое время определяется на основании требований
бизнеса к скорости исполнения той или иной операции.
Целевое время отклика, как правило, задается до начала
замера фактических времен исполнения, но может быть определено
(уточнено, скорректировано) бизнесом после первичных замеров.

17.

Приоритет операций с точки зрения бизнеса
В зависимости от вариации алгоритма Apdex, важным фактором
влияния на расчет может быть приоритет операций с точки зрения
бизнеса.
В большинстве алгоритмов приоритет операции используется для
ранжирования операций, но в некоторых алгоритмах приоритет
операции может в значительной степени влиять на результирующий
Apdex по приложению в целом.

18.

Приоритет операций с точки зрения бизнеса
Например, отслеживается 20 операций, все отслеживаемые
операции за последние сутки исполнялись очень быстро на уровне
«отлично», кроме одной с наивысшим приоритетом, которая
многократно исполнялась «неприемлемо» медленно. В этом случае, у
алгоритма учитывающего приоритет для итогового расчета, Apdex по
приложению в целом будет в районе уровня «плохо».

19.

Подготовительные действия
Для мониторинга производительности по методике Apdex
необходимо:
• Подготовить перечень ключевых операций, подлежащих
мониторингу
• Для каждой операции из перечня указать целевое время
исполнения
• Указать приоритет для наиболее значимых операций
• Установить/включить программные счетчики замера
производительности на все ключевые операции, для накопления
статистики.

20.

Обработка данных мониторинга
Данные за период (например, сутки) компонуются по
наименованию/операции.
Затем для каждой операции:
производится компоновка всех значений длительности
исполнения этой операции, относительно целевого времени,
на три зоны «отзывчивости» по отношению к пользователю:

21.

Довольны – пользователи, при выполнении операции приложением, каких-либо задержек с
ответом со стороны системы не ощутили. (Время исполнения операции приложением меньше
или равно целевому времени T)
Удовлетворены – пользователи заметили, что ответ от системы пришлось ждать, но
пользователи дожидались ответа от приложения. (Время исполнения операции приложением
больше целевого времени T, но меньше или равно времени F. Чаще всего время F принимают
равным 4*T, но в некоторых случаях коэффициент может быть изменен в большую или
меньшую сторону).
Разочарованы – пользователи не дожидались ответа от приложения и прервали процесс
исполнения операции приложением. (Время исполнения операции приложением больше
времени F)

22.

Индекс производительности
Индекс производительности рассчитывается как
соотношение количества операций, которые выполнены
с «приемлемой» скоростью, к общему количеству
операций.
При этом, под операциями с «приемлемой»
скоростью принимается сумма: количество операций,
которые выполнены с целевой скоростью Т и быстрее, и
половина количества операций, которые выполнены со
скоростью до четырех раз медленнее целевой скорости
исполнения (время исполнения которых от T до F=4T).

23.

Индекс производительности

24.

Индекс производительности
Из формулы очевидно, что Apdex всегда будет принимать
значения в интервале от 0 до 1.
При ранжировании и в формуле, явным образом не учитывается количество операций
выполненных со скоростью больше F - при желании, эту цифру всегда можно оценить путём
вычитания количества операций выполненных с «приемлемой скоростью» из общего
количества операций.
У формулы есть объективное условие, влияющее на
достоверность результата Apdex – количество одноименных
операций за период (по которым производится расчет Apdex)
должно быть более 10, иначе значение Apdex будет занижено.

25.

Пример

26.

27.

Фактор качества ПО — это нефункциональное требование к программе, которое обычно не
описывается в договоре с заказчиком, но, тем не менее, является желательным требованием,
повышающим качество программы.
Некоторые из факторов качества:
•Понятность: Назначение ПО должно быть понятным, из самой программы и документации.
•Полнота: Все необходимые части программы должны быть представлены и полностью
реализованы.
•Краткость: Отсутствие лишней, дублирующейся информации. Повторяющиеся части кода должны
быть преобразованы в вызов общей процедуры. То же касается и документации.
•Портируемость: Лёгкость в адаптации программы к другому окружению: другой архитектуре,
платформе, операционной системе или её версии.
•Согласованность: По всей программе и в документации должны использоваться одни и те же
соглашения, форматы и обозначения.
•Сопровождаемость: Насколько сложно изменить программу для удовлетворения новых требований.
Это требование также указывает, что программа должна быть хорошо документирована, не слишком
запутана, и иметь резерв роста по использованию ресурсов (память, процессор).

28.

•Тестируемость: Позволяет ли программа выполнить проверку приёмочных характеристик,
поддерживается ли возможность измерения производительности.
•Удобство использования: Простота и удобство использования программы. Это требование относится
прежде всего к интерфейсу пользователя.
•Надёжность: Отсутствие отказов и сбоев в работе программ, а также простота исправления
дефектов и ошибок.
•Структурированность
•Эффективность: Насколько рационально программа относится к ресурсам (память, процессор) при
выполнении своих задач.
•Безопасность

29.

Инструменты для аудита конфигураций 1С
«1С:Корпоративный инструментальный пакет 8» (1С:КИП) предназначен
для повышения производительности, масштабируемости и надежности
информационных систем на платформе «1С:Предприятия 8» за счет
следующих возможностей:
обнаружения возможных технических проблем на ранних стадиях
внедрения (в том числе на стадии проектирования);
получения объективной информации о производительности системы;
получения полной технической информации о проблемах
производительности, имеющихся в системе, с целью дальнейшей
оптимизации ее кода и структур данных.
*Стоимость 108 000 рублей

30.

31.

Вопросы при аудите решений
Владелец процесса
Его мотивация
KPI
Потребители результата процесса
Их степень удовлетворенности
Что не устраивает?
Что добавить?
Качество реализации всех аспектов процесса