Lektsia_1

1.

Измерение и оценка
характеристик качества ПО

2.

Система измерений и
методы оценки ПО
Для решения задачи количественной
оценки характеристик программного
обеспечения необходимо наличие
• системы измерений и
• методов оценки.

3.

Система
измерений характеристик
программного обеспечения
– это совокупность измеряемых
характеристик, единиц измерения,
измерительных шкал и связей,
установленных между ними.
Если между измеряемыми характеристиками
установлены иерархические связи, систему
измерений называют иерархической, в
противном случае – одноранговой.

4.

Измерительная шкала
устанавливает границы (диапазон) и
точность измерений характеристик свойств в
установленных единицах.
Результаты измерений в избранной
измерительной шкале позволяют
обнаружить сходство и различие в свойствах
программного обеспечения с целью
последующей оценки и классификации.

5.

Виды измерительных шкал
Стандарт 180/1Е89126-2 рекомендует к
применению пять видов шкал измерения и
порядок их использования
1. Номинальная шкала
2. Порядковая шкала
3. Интервальная шкала
4. Относительная шкала
5. Абсолютная шкала.

6.

Виды измерительных шкал
Номинальная (категориальная) шкала
- фиксирует наличие или отсутствие
некоторой характеристики свойства без учета
градаций и позволяет классифицировать
программы по этому принципу;
- отражает категории свойств оцениваемого
объекта без их упорядочения.

7.

Виды измерительных шкал
Порядковая шкала
фиксирует отношение порядка и позволяет
ранжировать программы относительно
некоторого опорного значения характеристик
свойств;
служит для упорядочения характеристики по
возрастанию или убыванию путем сравнения их
с базовыми значениями.

8.

Виды измерительных шкал
Интервальная шкала
фиксирует не только отношение порядка, но и
величину, отличающую одно значение
характеристики от другого (интервал между
значениями), например, календарная дата.
Относительная шкала
задает некоторое значение относительно
выбранной единицы.
Абсолютная шкала
указывает на фактическое значение
величины (например, число ошибок в программе
равно 10).

9.

Измерение и оценка
характеристик качества ПО
Одной из важнейших проблем
обеспечения качества программных средств
является формализация характеристик
качества и методология их оценки.
Для определения адекватности качества
функционирования, наличия технических
возможностей программных средств к
взаимодействию, совершенствованию и
развитию необходимо использовать
стандарты в области оценки характеристик
их качества.

10.

Показатели качества
программного обеспечения
устанавливают
ГОСТ 28.195-89 «Оценка качества
программных средств. Общие
положения»
ГОСТ Р ИСО/МЭК 9126
«Информационная технология. Оценка
программной продукции.
Характеристика качества и руководства
по их применению».

11.

Показатели качества
программного обеспечения
Одновременное существование двух
действующих стандартов, нормирующих
одни и те же показатели, ставит вопрос об их
гармонизации.

12.

ГОСТ 28.195-89 «Оценка
качества программных средств.
Общие положения»
устанавливает
• общие положения по оценке качества
программных средств,
• номенклатуру и
• применяемость показателей качества.

13.

ГОСТ 28.195-89 «Оценка
качества программных средств.
Общие положения»
Оценка качества ПС представляет собой
совокупность операций, включающих
• выбор номенклатуры показателей
качества оцениваемого ПС,
• определение значений этих показателей и
• сравнение их с базовыми значениями.

14.

Методы определения
показателей качества ПС
различаются:
- по способам получения информации о ПС
измерительный,
регистрационный,
органолептический,
расчетный;
по источникам получения информации
• экспертный,
• социологический.

15.

Измерительный метод
основан на получении информации о
свойствах и характеристиках программного
обеспечения с использованием
специальных инструментальных средств
(технических или программных средств,
обеспечивающих проведение измерений и их
автоматизацию).

16.

Измерительный метод
Например, с использованием этого метода
определяется объем ПС –
• число строк исходного текста программ и
число строк - комментариев,
• число операторов и операндов,
• число исполненных операторов,
• число ветвей в программе,
• число точек входа (выхода),
• время выполнения ветви программы,
• время реакции
• и другие показатели.

17.

Регистрационный метод
основан на получении информации о
характеристиках программного обеспечения во
время испытаний или функционирования путем
регистрации и подсчета определенных событий
регистрируемых извне программы с помощью
средств измерений общего назначения.
Например,
• время и число сбоев и отказов,
• время передачи управления другим модулям,
• время начала и окончания работы
• и другие.

18.

Органолептический метод
Органолептический метод основан на
использовании информации о характеристиках
программного обеспечения, получаемой в
результате анализа восприятия органов чувств
(зрения, слуха), и применяется для определения
таких показателей как
• удобство применения,
• эффективность
• и т.п.

19.

Расчетный метод
Расчетный метод основан на получении
информации о характеристиках программного
обеспечения при использовании
• теоретических и эмпирических зависимостей
(на ранних этапах разработки),
• статистических данных, накапливаемых при
испытаниях, эксплуатации и сопровождении
ПС.

20.

Расчетный метод
При помощи расчетного метода определяются
длительность и точность вычислений,
• время реакции,
• необходимые ресурсы.

21.

Экспертный метод
Определение значений показателей качества
ПС экспертным методом осуществляется
группой экспертов-специалистов, компетентных
в решении данной задачи, на базе их опыта и
интуиции.
Экспертный метод применяется в случаях,
когда задача не может быть решена никаким
другим из существующих способов или другие
способы являются значительно более
трудоемкими.

22.

Экспертный метод
Экспертный метод рекомендуется применять
при определении показателей
• наглядности,
• полноты и доступности программной
документации,
• легкости освоения,
• структурности.

23.

Социологические методы
Социологические методы основаны на
обработке специальных анкет-опросников,
содержащих качественные оценки
характеристик программного обеспечения
социальными группами, имеющими отношение
к применению программного обеспечения.

24.

Традиционные методы
Традиционные методы объединяют группу
сформировавшихся и традиционно
используемых в организациях, на
предприятиях и учреждениях методов
количественной оценки характеристик
программного обеспечения.

25.

Проявляемые свойства
программного обеспечения
• функциональные (внешние),
• конструктивные (внутренние).
Для разработчиков и пользователей
программы представляют интерес
определенные функциональные и
конструктивные свойства, (например,
надежность, эффективность, модульность,
структурность).

26.

Свойства программного
обеспечения
Как правило, пользователя (заказчика)
интересуют те функциональные свойства,
которые характеризуют полезность
программного обеспечения.
Именно эти внешние свойства, отражающие
точку зрения пользователя, обуславливают
качество программного обеспечения, то есть
являются его факторами

27.

Свойства программного
обеспечения
Для разработчиков представляют интерес
не только внешние, но и внутренние, или
конструктивные свойства, от которых
зависит
• выполнение требований к программному
обеспечению и
• восприятие его пользователем.

28.

Характеристики качества
отражают свойства, определяющие
качество программного обеспечения.
В силу сложной природы количественной
оценки характеристик качества программного
обеспечения для их оценки используют
иерархические системы измерений.
Иерархию характеристик качества
образуют факторы, критерии, метрики и
оценочные элементы.

29.

Показатели качества
Показатели качества объединены в
систему из четырех уровней.
Каждый вышестоящий уровень
содержит в качестве составляющих
показатели нижестоящих уровней.

30.

Уровни системы показателей
качества

31.

Характеристики качества
Факторы и критерии, составляющие два
верхних уровня иерархии измерений,
отражают функциональные
характеристики программного обеспечения,
а нижние (метрики и оценочные элементы) –
конструктивные характеристики, от
которых зависит качество программного
обеспечения.
Измеримость характеристик качества
обеспечивается составом характеристик самого
нижнего уровня – оценочных элементов.

32.

Фактор качества
- свойство, в той или иной степени
обуславливающее качество программного
обеспечения.
При оценке качества учитывают несколько
факторов.
Для получения численной оценки фактора
качества используют один или несколько
критериев качества.

33.

Критерий качества
– это понятие, признак или численный
показатель, характеризующий оцениваемый
фактор качества.
Критерий качества может быть представлен
имеющим физический смысл вычислимым
выражением, составленным из характеристик
качества, значением которого является
показатель качества.
Для вычисления значения критерия
используют одну или несколько метрик.

34.

Метрика
– мера количественной оценки качества ПО
по заданному критерию, система или способ
измерений качества программного
обеспечения.
Метрика содержит один или несколько
оценочных элементов.
Оценочный элемент
– измеримая характеристика программного
обеспечения, имеющая численное значение в
избранной измерительной шкале.

35.

Стандарт ИСО 9126 (ГОСТ Р
ИСО/МЭК 9126)
«Информационная технология.
Оценка программной
продукции. Характеристика
качества и руководства по их
применению».

36.

ИСО 9126
(ГОСТ Р ИСО/МЭК 9126)
Определенные настоящим стандартом
характеристики дополнены рядом требований
по выбору метрик и их измерению для
различных проектов ПС.
Они применимы к любому типу ПС,
включая компьютерные программы и данные,
содержащиеся в программируемом
оборудовании.

37.

ИСО 9126
(ГОСТ Р ИСО/МЭК 9126)
Эти характеристики обеспечивают
согласованную терминологию для анализа
качества ПС.
Кроме того, они определяют схему для
выбора и специфицирования требований к
качеству ПС, а также для сопоставления
возможностей различных программных
продуктов, таких как функциональные
возможности, надежность, практичность и
эффективность.

38.

Оценка качества программного
обеспечения
- это совокупность операций, включающих
• выбор номенклатуры (состава) показателей
качества,
• определения значений этих показателей и
• сравнения их с базовыми значениями,

39.

Оценка качества программного
обеспечения
Процесс определения соответствия
программного обеспечения действующему
стандарту качества
называют сертификацией.
Процесс определения соответствия
программного обеспечения предназначению
называют верификацией.
Процесс подтверждения функциональной
пригодности программного обеспечения
называют аттестацией.

40.

Оценка качества программного
обеспечения
Очевидно, что сертификация, верификация
и аттестация программного обеспечения не
исключают, а предполагают проведение
количественных оценок характеристик
программ.
Учитывая, что по определению программное
обеспечение состоит не только из программ, но
и документации к ним, одной из задач оценки
качества ПО является измерение и оценка
характеристик программных и
эксплуатационных документов.