Оценка систем. Показатели и критерии оценки систем

1.

Тема 7: «ОСНОВЫ ОЦЕНКИ СИСТЕМ. ПОКАЗАТЕЛИ
И КРИТЕРИИ ОЦЕНКИ СИСТЕМ»
ВО П РО С Ы
1. Виды критериев качества
2. Шкала уровней качества систем
3. Показатели и критерии эффективности функционирования
систем
ЛИТЕРАТУРА
1. Спицнадель В. Н. Основы системного анализа: Учебное пособие –
Санкт-Петербург, «Издательский дом «Бизнес-пресса», 2000 – 208 с.
2. Антонов А.В. Системный анализ: Учебное пособие для вузов. – М.,
Высшая школа, 2004. – 454 с.
3. Анфилатов В.С., Емельянов А.А., Кукушкин А.А. Системный анализ в
управлении: Учебное пособие. – М., Финансы и статистика, 2002. – 368 с.
4. Сурмин Ю.П. Теория систем и системный анализ: Учебное пособие. –
Киев, МАУП, 2003. – 368 с..

2.

1. ВИДЫ КРИТЕРИЕВ КАЧЕСТВА
Системы создаются для реализации одной или нескольких операций в виде
некоторой совокупности целенаправленных действий. Требуемый и реально
достигаемый системой результат различается вследствие изменения
условий протекания операции и способов достижения результатов.
В общем случае для систем характерны свойства:
– элемент верхнего уровня иерархии владеет более широким диапазоном
условий принятия решений (полномочиями);
– элемент верхнего уровня иерархии оперирует с более медленными
процессами, определяющими поведение системы;
– решения верхнего уровня зависят от результатов выполнения задач
элементами нижних уровней;
– задачи, решаемые на верхних уровнях, менее формализованы и содержат
больше неопределенности в исходных данных для принятия решения.
Исходя из этого, при проведении СА процессов принятия решения системой
необходимо учитывать следующие обстоятельства.
- состояние и поведение системы в изменяющихся условиях внешней
среды слабо предсказуемо, т.е. спрогнозировать желаемое и практически
достигнутое состояние невозможно с высокой степенью уверенности;
- анализ оценки реализации управляющих воздействий затруднительна, а,
если и осуществим, то с небольшой степенью (вероятностью) уверенности,
так как основным элементом в контуре принятия решений в системе,
является человек – ЛПР. Т.е. психофизиологические свойства человека

3.

Принятие решений в условиях неопределенности обстановки
основывается на качестве работы ЛПР и характеризуется объективной и
субъективной сторонами. Объективная сторона процесса принятия
решения ЛПР определяется совокупностью элементов и связей в
системе, соответствующих условиям ее функционирования,
выполняемым задачам, состоянию внешней среды и ограничениям на
ресурсы. Субъективная же сторона зависит от характера отражения
объективного в сознании ЛПР, которое влияет на результат принятого
решения. Наилучшим является решение, которое в основных чертах
отражает обстановку и соответствует поставленной задач на основе
установления причинно-следственных связей между элементами
сложившейся обстановки, вариантами решения, правилами выбора
наилучшего решения и влиянием решения на устойчивость системы.
Процесс принятия решений в системе представляется в рамках понятий:
– множества возможных альтернативных вариантов, из которых ЛПР
может выбрать наилучшее решение;
– приемлемого (допустимого) множества вариантов для выбора ЛПР с
учетом технико-экономических ограничений;
– множества предпочтительных вариантов, которые удовлетворяют ЛПР;
– правило выбора, в соответствии с которым ЛПР осуществляется
выбор наилучшего варианта решения.

4.

Для реализации правила выбора показатель, характеризующий предпочтение
вариантов решения, может быть представлен поэлементно (таблично), в виде
графика зависимости или как целостное множество, удовлетворяющее
условиям и ограничениям. Показатель характеризует на качественноколичественной шкале измерения анализируемое свойство системы.
Принятие решения ЛПР основывается на показателях качества и показателе
эффективности, характеризующего группу свойств системы для достижения
требуемого результата в операции (свойства понятий приведены в табл. 1).
Применение систем целенаправленно для получения, при решении задач в
конкретных условиях с учетом ограничений, некоторого эффекта. Под
«эффектом» понимается результат действия (целенаправленного поведения)
системы или вследствие каких-либо причин, обусловленных ее применением.
Систему, дающую положительный эффект от ее применения, характеризуют как
эффективную. При этом под эффективностью системы понимают ее
способность выполнять поставленные задачи в заданных условиях или степень
реализации ее возможностей, проявляющихся на определенном интервале
времени операции и дающих эффект с учетом затраченного ресурса. То есть,
эффективность системы является мерой ее целесообразности, вытекающей из
ее назначения. Понятие эффективности всегда связано с получением
некоторого полезного результата (эффекта), достигаемого ценой
энергетических, информационных, стоимостных и прочих затрат для
обеспечения функционирования системы (цену затрат обобщенно
характеризуют «платой» за выигрыш).

5.

Таблица 1
Соотношение понятий качества н эффективности систем
Параметр
Качество
Эффективность
свойство
(качество)
процесса
Определе Свойство или совокупность Комплексное
существенных
свойств функционирования системы, характеризующее его
ние
системы, обусловливающих ее приспособленность к достижению цели операции
понятия
пригодность
для (выполнению поставленных задач)
использования по назначению
Область
применен
ия
Основная
характери
стика
Объекты любой природы, Только
проводимые
в том числе элементы целенаправленные операции
систем
Совокупность атрибутивных Степень соответствия цели
свойств
системы, операции
Фактор
структурн
ого
анализа
Размернос
ть
Строение системы (состав Алгоритм
функционирования,
качество
и
свойства
составных системы,
реализующей
алгоритм,
частей,
структура, воздействия внешней среды
организация)
Показатель
качества
– Показатели
результативности,
вектор
показателей ресурсоемкости оперативности по исходу
существенных свойств
операции
существенных
использования
назначению
для
системой
результатов
ее
по
Способ
Критерии
пригодности, Критерии пригодности или оптимальности,
оценивани оптимальности,
определяемые в зависимости от типа
я
превосходства
проводимой операции

6.

Для понятия эффективности характерны свойства:
– она имеет количественную меру и выражается числом;
– мера эффективности является внешней по отношению к системе, то
есть описание самой системы без учета ограничений и внешних условий
не является достаточным для введения меры эффективности;
– оценка эффективности учитывает определенные свойства надсистемы
(окружающей среды) и, следовательно, относительно как системы, так и
надсистемы, в рамках которой она функционирует.
Таким образом, эффективность системы есть свойство, определяемое
измеримой положительной характеристикой ее целенаправленной
деятельности на заданном интервале времени для соответствующего
этапа операции с учетом расхода ресурсов.
Количественную характеристику эффективности, определяющую степень
реализации возможностей системы, называют показателем эффективности,
который рассматривается применительно к определенным условиям
ведения операции, типовому составу и задачам, решаемым системой.
В общем случае каждое качество системы представляется в виде
некоторой выходной переменной, отображающей ее определенное
существенное свойство, значение которой характеризует меру
(интенсивность проявления) этого качества – она является показателем
свойства или частным показателем качества системы, принимающим
значения из множества (области) допустимых значений.

7.

Количественное значение свойства системы, которое характеризует меру
(интенсивность) его проявления определяют частный показатель
качества. Обобщенным показателем качества системы является вектор,
компоненты которого являются показателями его отдельных свойств, а
размерность определяется числом существенных свойств системы.
Применительно к системам рассматривают иерархическую систему
показателей эффективности; некоторые из которых относятся к
комплексным (интегральным), а некоторые – к единичным
(частным) показателям. При этом под системой показателей
эффективности понимается некоторая совокупность показателей с
набором связей между ними, обладающая определенным способом их
упорядочения (от частных до интегральных). В соответствии с этим
различают уровни информационных, информационно-системных и
интегральных (системных) показателей эффективности. Каждый частный
показатель эффективности информационного уровня, номенклатура
которых может быть многочисленной (например, наработка на отказ, вес,
габариты, энергопотребление, коэффициент полезного действия,
вероятность обнаружения сигнала, точность измерения параметра и т.д.),
является характеристикой состояния элемента системы, информационносистемного уровня – обеспечивает преобразование частный показатель в
промежуточные показатели для определения на интегральном уровне
результатов выполнения системой задач в операции.

8.

Частные показатели имеют различную физическую природу, а соответственно
и различную размерность. Поэтому получение интегральных оценок системы
осуществляется приведением частных показателей к одному масштабу на
основе осуществления их нормировки для последующего анализа и
сопоставления. Задача нормировки решается введением относительных
безразмерных показателей, представляющих отношение «натурального»
частного показателя к некоторой нормирующей величине, измеряемой в тех же
единицах, что и сам показатель. Выбор нормирующего делителя для перевода
частных показателей в безразмерную форму в значительной мере носит
субъективный характер и обосновывается в каждом конкретном случае.
Требуемое качество (эффективность) системы характеризуется правилами
(условиями), которым должны удовлетворять показатели ее существенных
свойств, а проверка их выполнения представляет оценивание качества
(эффективности) системы. Показатель существенных свойств системы
совместно с правилом его оценивания представляет критерий
качества (эффективности) системы или критерий предпочтения.
Пусть идеальной системой является гипотетическая модель системы,
идеально соответствующую всем критериям качества, представляя вектор
показателей качества идеальной системы. Определим областью адекватности
некоторую окрестность значений показателей существенных свойств. В общем
виде область адекватности определяется как модуль нормированной разности
между показателем качества идеально соответствующую всем критериям и
показателем качества исследуемой системы.

9.

КРИТЕРИИ ПРИНАДЛЕЖАТ К ОДНОМУ ИЗ ТРЕХ КЛАССОВ:
1. Критерий пригодности правило, согласно которому система считается
пригодной, если значения всех ее частных показателей принадлежат области
адекватности, а радиус области адекватности соответствует допустимым
значениям всех частных показателей.
2. Критерий оптимальности правило, согласно которому система считается
оптимальной по показателю качества, если существует хотя бы один частный
показатель качества, значение которого принадлежит области адекватности, а
радиус области адекватности по этому показателю оптимален. Оптимальность
радиуса адекватности определяется из семантики предметной области, в виде,
отражающем отсутствие отклонений показателей качества от идеальных значений.
3. Критерий превосходства правило, согласно которому система считается
превосходной, если все значения частных показателей качества принадлежат
области адекватности, а радиус области адекватности оптимален по всем
показателям.
2. ШКАЛА УРОВНЕЙ КАЧЕСТВА СИСТЕМ
При оценивании качества систем рассматривают несколько уровней качества,
проранжированных в порядке возрастания сложности свойств устойчивости,
помехоустойчивости, управляемости, способности и самоорганизации.
Первичным качеством любой системы является ее устойчивость. Для простых
систем устойчивость объединяет свойства: прочность, стойкость к внешним
воздействиям, сбалансированность, стабильность, гомеостазис. Для сложных
систем характерны различные формы структурной устойчивости, такие, как
надежность, живучесть и т.д.

10.

Рис. 1. Пример оценки системы по критериям пригодности, оптимальности и
превосходства
Более сложным качеством является помехоустойчивость, понимаемая как
способность системы без искажений воспринимать и передавать
информационные потоки. Она объединяет ряд свойств: надежность систем
связи;
пропускная
способность;
возможность
эффективного
кодирования/декодирования информации и т.д.

11.

Следующим уровнем шкалы качества системы является управляемость –
способность системы переходить за заданное время в требуемое состояние
под влиянием управляющих воздействий. Она обеспечивается наличием
прямой и обратной связи, объединяет свойства системы: гибкость управления,
оперативность, точность, производительность, инерционность, связность,
наблюдаемость объекта управления и т.д. На этом уровне качества для
сложных систем управляемость включает способность принятия решений по
формированию управляющих воздействий.
Следующим уровнем на шкале качеств является способность, определяющая
возможности системы по достижению требуемого результата на основе имеющихся
ресурсов в заданный период времени. Данное качество характеризуется
свойствами, как результативность, ресурсоемкость и оперативность. Т.е.,
способность – это потенциальная эффективность функционирования системы,
возможность получить требуемый результат при идеальном способе
использования ресурсов и в отсутствие воздействий внешней среды.
Наиболее сложным качеством системы является самоорганизация,
характеризующая возможности системы изменять свою структуру, параметры,
алгоритмы функционирования и поведение для повышения эффективности.
Важными свойствами этого уровня являются свобода выбора решений,
адаптируемость, самообучаемость и способность к распознаванию ситуаций.
Введение уровней качества позволяет осуществить СА системы до одного из
приведенных уровней.

12.

3. ПОКАЗАТЕЛИ И КРИТЕРИИ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ
СИСТЕМ
Существенные свойства системы при представлении ее в виде семантической
модели классифицируют пл принадлежности к группам системообразующих
(общесистемных), структурных или функциональных свойств:
общесистемные свойства – целостность, устойчивость, наблюдаемость,
управляемость, детерминированность, открытость, динамичность и т.д.;
структурные свойства – состав, связность, организация, сложность,
масштабность, пространственный размах, централизованность, объем и т.д.;
функциональные (поведенческие) свойства – результативность, ресурсоемкость,
оперативность, активность, мощность, мобильность, производительность,
быстродействие, готовность, работоспособность, точность, экономичность и т.д.
При таком рассмотрении показатели качества относят к области общесистемных
и структурных свойств систем, а свойства (операционные свойства или свойства
операции), характеризующие процесс поведение системы – к функциональным
свойствам, так как системы создаются для реализации конкретных операций.
Качество исхода операции оценивается по показателям эффективности
операции - результативность, ресурсоемкость и оперативность.
Результативность операции обусловливается получаемым целевым
эффектом, в интересах достижения которого функционирует система.
Ресурсоемкость характеризуется всеми видами ресурсов, используемых для
получения целевого эффекта.
Оперативность определяется расходом времени, потребного для достижения
цели операции.

13.

Оценка исхода операции учитывает, что операция проводится для
достижения определенной цели – ситуации (состояния системы и внешней
среды), возникающей на момент ее завершения. Для количественной
оценки результата операции вводится понятие показателя исхода
(эффективности) операции, вектора , компоненты которого являются
показатели эффективности его отдельных свойств, отражающих
результативность, ресурсоемкость и оперативность операции.
В совокупности результативность, ресурсоемкость и оперативность
обусловливают интегральное свойство “эффективность процесса” –
степень приспособленности системы к достижению цели при выполнении
операции как функции свойств системы и внешней среды.
Выбор критерия эффективности – центральный момент исследования
систем. Процесс его выбора является в значительной мере субъективным,
требующим в каждом отдельном случае индивидуального подхода.
Математическое выражение критерия эффективности представляет
целевую функцию – ее экстремизация является отображением цели
операции. Для его формирования требуется: определить цель; найти
множества управляемых и неуправляемых характеристик системы,
реализующей операцию; определить показатели исходов операции и только
после осуществить выбор и формирование критерия. Показатели (функции
показателей) результатов операции, на основе которых формируется
критерий эффективности, называют показателями эффективности.

14.

Конкретный физический смысл показателей эффективности определяется
характером и целями операции, а также качеством реализующей ее системы и
внешними воздействиями.
В отдельных системах в качестве показателей результативности могут
рассматриваться показатели ресурсоемкости или оперативности, однако
эффективность операции не характеризуется ни одним из перечисленных
частных свойств в отдельности, а определяется, подобно показателю
эффективности операции, их совокупностью.
Несмотря на то, что конкретные операции достаточно многообразны,
существуют общие принципиальные положения для формирования критериев
эффективности.
В общем случае, в зависимости от типа систем и внешних воздействий,
операции могут носить детерминированный, вероятностный или
неопределенный характер. В соответствии с этим выделяют три
группы показателей и критериев эффективности функционирования
систем в условиях:
определенности, если показатели результата операции отражают один
строго определенный результат детерминированной операции;
риска, если показатели результата операции являются дискретными или
непрерывными случайными величинами с известными законами
распределения в вероятностной операции;
неопределенности, если показатели результата операции являются
случайными величинами, законы распределения которых неизвестны.

15.

Критерий пригодности для оценки детерминированной операции
определяет правило, по которому операция считается эффективной,
если все частные показатели исхода операции принадлежат области
адекватности.
Критерий оптимальности для оценки детерминированной
операции определяет правило, по которому операция считается
эффективной, если все частные показатели исхода операции
принадлежат области адекватности, а радиус области адекватности по
этим показателям оптимален.
Критерий пригодности для оценки эффективности вероятностной
операции определяет правило, по которому операция считается
эффективной, если вероятность достижения цели по показателям
эффективности не меньше требуемой вероятности достижения цели по
этим показателям.
Критерий оптимальности для оценки эффективности
вероятностной операции определяет правило, по которому операция
считается эффективной, если вероятность достижения цели по
показателям эффективности равна вероятности достижения цели с
оптимальными значениями этих показателей.

16.

Выбор показателей эффективности для конкретных систем связан с
анализом большого объема плохо структурированной информации, и
поэтому в системном анализе сформулированы общие требования к
обоснованности применения показателей эффективности в задачах оценки, к
которым относятся:
– представительность показателей эффективности операции или цели
операции. Он должен отражать существенные свойства системы, а не ее
второстепенные свойства при решении задач операции. Цели операции в
значительной степени зависят от предназначения системы. Например,
целями операции могут быть обеспечение требуемых значений
оперативности, достоверности, устойчивости и безопасности решения задач
управления и передачи сообщений и т.д. Для каждой цели определены одна
или несколько составляющих показателей эффективности операции;
– критичность к изменяемым существенным параметрам системы,
необходимая гибкость и универсальность, то есть достаточно сильно
изменяться при изменении параметров системы; в противном случае ее
оценка эффективности затрудняется;
– единственность - позволяет конструктивно осуществлять анализ
системы т.к. возможно строгое решение математической задачи
оптимизации. В большинстве случаев оказывается, что показателей два и
более (многокритериальная задача оптимизации). Например, показателями
могут быть выигрыш, получаемый при наличии полезного результата, и плата
за энергетические, информационные и стоимостные затраты;

17.

– полнота – показатель эффективности операции должен отражать целевые и
побочные последствия операции по показателям результативности,
ресурсоемкости и оперативности. При этом одним из показателей правильности
выбора составляющих показателя результата операции и их полноты является
монотонный характер целевой функции, построенной для каждой составляющей.
Если при этом какая-либо из целевых функций не монотонная, то это
характеризует не учет составляющих показателя эффективности операции;
– измеримость его составляющих с помощью натурного эксперимента или
моделей операции. Если рассматриваемая операция не позволяет это сделать,
ее целесообразно разложить на подоперации, обеспечивающие измеримость
составляющих. Процесс декомпозиции операции на подоперации, как правило,
является многоуровневым;
ясность их физического смысла и простоте получения, т.е. чтобы они
измерялись с помощью количественных мер, доступных для восприятия или
характеризовались достаточной простотой вычислений;
– относительно высокую чувствительность к изменениям значений
управляемых характеристик.
Приведенный перечень составляющих показателей эффективности
применения системы в операции может быть определен различными
способами исходя из целей системного анализа сложных объектов,
представляемых при исследованиях в виде сложных систем при выполнении
различных задач в операции.

18.

ВОПРОСЫ НА СЕМИНАР
1. Обработка показателей характеристик,
измеренных в разных шкалах
2. Сравнительный анализ осреднения всех
показателей характеристик систем
3. Характеристика видов критерия качества систем
4. Сравнительный анализ соотношений качества и
эффективности систем
5. Анализ шкал качества систем
6. Обоснование показателей и критериев
эффективности функционирования систем
7. Анализ основных требований к показателям
эффективности систем