Методы оценки информации, получаемой от экспертов

1. Тема: МЕТОДЫ ОЦЕНКИ ИНФОРМАЦИИ, ПОЛУЧАЕМОЙ ОТ ЭКСПЕРТОВ

2.

План лекции:
Сущность экспертного ранжирования
Метод непосредственной оценки
Метод нормирования
Метод последовательных сравнений

3. Классификация Методов исследования систем управления

Методы, основанные на
использовании знаний и
интуиции специалистов
Методы формализованного
представления систем
Комплексные методы
Метод «Мозговая
атака»
Аналитические
Комбинаторные
Сценарный Метод
Статистические
Ситуационное
моделирование
Экспертные оценки
Теоретические
Топология
Метод Дельфи
Логические
Графо-семиотическое
моделирование
Морфологический
метод
Лингвистические
Деловые игры
Семиотические
Графические
Структурнолингвистическое
моделирование
Имитационное
моделирование
Методы исследования
информационных
потоков

4. 1. Метод экспертного ранжирования

• Исследуемые объекты, проблемы или явления
можно опознать или различать на основе присущих
им факторов.
• Фактор - это свойство элемента объекта, которое
позволяет на множестве, состоящем, по крайней
мере, из двух элементов, отражать различные
уровни некоторых подлежащих рассмотрению
величин.
• Каждый фактор, выражая определенное свойство
элемента объекта, одновременно является оценкой
отношения к данному свойству со стороны
принимающего решение.

5. 1. Метод экспертного ранжирования

• Уровень одних факторов может быть выражен
количественно (в рублях, процентах, тоннах и т.д.).
Такие факторы называются количественными.
Уровень же других нельзя выразить с помощью
числа и их обычно называют качественными.
• При решении многих практических задач часто
оказывается, что факторы, определяющие
конечные результаты, не поддаются
непосредственному измерению. В этих случаях
применяется процедура ранжирования.

6. 1. Метод экспертного ранжирования

• Ранжирование может применяться в следующих ситуациях:
• когда необходимо упорядочить какие-либо явления (объекты)
во времени или пространстве. Это ситуация, когда интересуются
не сравнением степени выраженности какого-либо их качества,
а лишь взаимным пространственным или временным
расположением этих объектов (явлений);
• когда нужно упорядочить объекты в соответствии с каким-либо
качеством, но при этом не требуется производить его точное
измерение;
• когда какое-либо качество в принципе измеримо, однако в
настоящий момент не может быть измерено по причинам
практического или теоретического характера.

7. 1. Метод экспертного ранжирования

• Под ранжированием будем понимать
процедуру расположения факторов
xi (i 1,..., n)
в порядке их существенности: на первом
месте стоит самый существенный, следом
за ним менее существенный, но самый
важный из оставшихся, и т.д.

8. 1. Метод экспертного ранжирования

• Рассмотрим сущность экспертного
ранжирования на примере ранжирования
входов и выходов объекта управления.
• Однако прежде, чем производить селекцию
входов, необходимо их проранжировать по
степени их влияния на реализацию цели
управления объектом. Это означает, что
каждому входу xi (i 1,..., n)
• следует поставить в соответствие
некоторое целое число - его ранг:
xi ki (i 1,..., n),

9. 1. Метод экспертного ранжирования

• где единичный ранг ( ki= 1) имеет вход,
влияющий наибольшим образом на
реализацию цели управления. Второй ранг
( ki = 2) и т.д. имеет входы, влияющие не
столь существенно, как единичный. Здесь
индексы при рангах определяют номер
ранжированного входа от первого до n-го.
Расположим теперь входы в порядке
возрастания их рангов:
xi1 , xi2 ,..., xin ,
i j - где индекс равен номеру фактора с
рангом j.

10. 1. Метод экспертного ранжирования

• Построенный ряд xi1 , xi2 ,...xiq ,..., xin ,
называется ранжированным рядом.
• На первом месте в нем стоит самый
существенный вход (его порядок i1), a далее
следуют остальные, в порядке уменьшения
их влияния на цели управления.
• При необходимости ограничения учета
входных сигналов в системе целесообразно
оставить лишь q входов, ими будут факторы
с номерами от i1 до iq , т.е. имеющие q
рангов.

11. 1. Метод экспертного ранжирования

• Составить ранжированную
последовательность можно с помощью
специалистов-экспертов, имеющих
представление о будущем алгоритме
управления этим объектом.
• Эксперт, используя свой предыдущий опыт,
составляется последовательность
k1, k2, …ki,…, kn,
где ki - ранг i-го входа xi.

12. 1. Пример использования метода экспертного ранжирования

• Пусть при n = 5 (n – количество входов системы)
последовательность рангов имеет вид:
3, 1, 5, 4, 2.
• По результатам ранжирования можно сделать
вывод, что наибольшее влияние на цели
управления, с учетом возможности измерения,
имеет второй вход х2. Ему приписывается ранг,
равный единице (k2 = 1). Второй ранг имеет
пятый вход (k5 = 2) и т.д., т.е. в порядке снижения
значимости входного сигнала на систему
запишем:
k2 = 1, k5 = 2, k1 = 3, k4 = 4, k3 = 5.

13. 1. Метод экспертного ранжирования

Процедура ранжирования управляющих
воздействий U = (u1, …, uq) и выходов
объекта Y = (у1, ..., уq) аналогична
процедуре ранжирования входных
параметров системы.
Основное условие:
• Порядковая шкала, получаемая в
результате ранжирования, должна
удовлетворять условию равенства числа
рангов N числу ранжируемых объектов n.

14. 1. Метод экспертного ранжирования

• Возможная проблема:
• Если эксперт присваивает разным объектам один и
тот же ранг, число рангов N оказывается не
равным числу ранжируемых объектов n.
• В таких случаях объектам приписывают так
называемые стандартизированные ранги.
Получение стандартизированных рангов:
• общее число стандартизированных рангов полагают
равным n,
• объектам, имеющим одинаковые ранги,
присваивают стандартизированный ранг, значение
которого представляет среднее от суммы мест
объектов с одинаковыми рангами, деленной на
натуральное число, которым выражен ранг.

15. 1. Метод экспертного ранжирования. Пример использования одинаковых рангов

• Пусть, например, шести объектам (альтернативам,
факторам) присвоены следующие ранги:
i
1
2
3
4
5
6
xi
1
2
3
3
2
3
• Тогда объектам 2 и 5, поделившим между собой второе и
третье места, приписывается стандартизированный ранг S
= (2 + 3) / 2 = 2,5, а объектам 3, 4 и 6, поделившим 4, 5, 6-е
места, приписывается стандартизированный ранг 5 = (4 + 5
+ 6) /3 = 5. В итоге получаем следующую ранжировку:
i
1
2
3
4
5
6
xi
1
2,5
5
5
2,5
5

16. 1. Метод экспертного ранжирования.

• сумма рангов SN, полученная в результате
ранжирования n объектов, будет равна
сумме чисел натурального ряда, т.е.
n
S N xi
i 1
n(n 1)
.
2
S N 1 2,5 5 5 2,5 5
6(6 1)
21
2

17. 1. Метод экспертного ранжирования.

• Когда ранжирование производится несколькими
(т) экспертами, то сначала для каждого объекта
(фактора) подсчитывают сумму рангов
n
m
S N xij ,
i 1 j 1
• полученную от всех экспертов, а затем исходя из
этой величины устанавливают результирующий ранг
для каждого объекта (фактора).
• Наивысший (первый) ранг присваивают объекту,
получившему наименьшую сумму рангов, и
наоборот, объекту, получившему наибольшую
сумму рангов, присваивают самый низкий ранг N.
Остальные объекты упорядочивают в соответствии
со значением суммы рангов относительно объекта,
которому присваивается первый ранг.

18. 1. Метод экспертного ранжирования. Достоинство и недостатки

• Достоинство – простота
• Недостаток – низкая точность
(невозможность учесть степень различия
объектов)

19. 2. Метод непосредственной оценки

• Метод непосредственной оценки позволяет
выявить более четко различие между
факторами.
• Суть метода: диапазон изменения какой-либо
качественной переменной разбивается на
несколько интервалов, каждому из которых
присваивается определенная оценка (балл),
например от 0 до 10.
• Примечание. Шкала оценок может быть не
только положительной, а, например, включать
в себя диапазон с отрицательным интервалом
оценок от -4 до +4.

20. 2. Метод непосредственной оценки

• Задача эксперта:
• поместить каждый из рассматриваемых
объектов (факторов) в определенный
оценочный интервал либо в соответствии
со степенью обладания тем или иным
свойством, либо в соответствии с
предположениями эксперта об их
значимости.
• Примечание. Эксперту разрешается давать
одну и ту же оценку двум (или нескольким)
качественно различным факторам.

21. 2. Метод непосредственной оценки. Пример

• Пусть, например, т экспертов оценили (по шкале от 0 до
100) k направлений исследований с точки зрения
важности их для достижения определенной цели.
• Для того чтобы проранжировать эти оценки, каждому из
направлений приписывается число натурального ряда
таким образом, чтобы ранг 1 был у максимальной
оценки, а ранг k – у минимальной (таблица).
Направление
исследований
a
Оценка
Ранг
40 30
7 8
b
c
d
e
f
g
h
k
80
3
90
2
20
9
100
1
60
5
70
4
50
6

22. 3. Метод нормирования

• Нормирование любой меры означает, что
представляющее ее число для всего множества в
целом принимается равным единице.
• Нормирование позволяет установить более тесную
связь между оценками, приписанными экспертами
отдельным объектам (факторам). С этой целью
оценки по всем объектам суммируются, а затем
каждая из них делится на полученную сумму.
• Рассчитанные таким образом нормированные
оценки могут быть вновь проранжированы.
• В случае участия в экспертизе нескольких
экспертов, используют усредненную оценку (вес)
для каждого объекта (фактора).
• Для этого нормированные оценки каждого объекта
суммируются, а затем полученная сумма делится
на число экспертов.

23. 3. Метод нормирования

• При наличии нескольких факторов, по которым следует
оценить каждый из объектов, средняя оценка (вес)
каждого объекта может быть рассчитана по формуле
m
wi
w
j 1
m
ij
n
w
j 1 i 1
ij
• где wij - вес i-го объекта, подсчитанный по оценкам всех
экспертов; n - число факторов; m - число экспертов.
wij
x ij
,
n
x
i 1
ij
• где xij - оценка фактора i, данная экспертом j.

24. 3. Метод нормирования

• В случаях, когда группа, состоящая из
нескольких экспертов, оценивает ряд
факторов, причем у каждого из экспертов
имеется своя шкала предпочтений, для
нахождения усредненной оценки каждого
фактора может быть рекомендована
следующая методика.

25. 3. Метод нормирования

• 1. Составляется матрица "эксперты факторы", в которой проставляются
полученные от каждого эксперта оценки
факторов по шкале от 0 до 10 (представим,
что два эксперта оценили шесть факторов
так, как показано в таблице).
• Таблица. Оценка факторов
Эксперт
Фактор
i1
i2
i3
i4
i5
i6
1
10
7
9
3
4
5
2
8
6
10
4
2
7

26. 3. Метод нормирования

• 2. Рассчитывается относительная значимость
(Wij) всех факторов, в отдельности для каждого
эксперта. С этой целью оценки, полученные от
каждого эксперта, суммируются (по
горизонтали), а затем нормируются:
• W11 = 10/38
W12 = 8/37
• W21 = 7/38
W22 = 6/37
• W31 = 9/38
W32 = 10/37
• W41 = 3/38
W42 = 4/37
• W5l = 4/38
W52 = 2/37
• W61 = 5/38
W62 = 7/37

27. 3. Метод нормирования

• 3. Вычисляется
усредненная оценка,
данная всеми
экспертами каждому
фактору. Для этого
нормированные
оценки, полученные в
предыдущем шаге,
суммируются (по
вертикали), а затем
рассчитывается
средняя
арифметическая для
каждого фактора:
10 / 38 8 / 37
W1
0,240;
2
7 / 38 6 / 37
W2
0,173;
2
9 / 38 10 / 37
W3
0,254;
2
3 / 38 4 / 37
W4
0,093;
2
4 / 38 2 / 37
W5
0,080;
2
5 / 38 7 / 37
W6
0,160.
2

28. 4. Метод последовательных сравнений

• Этот метод состоит в систематической
проверке оценок на базе их
последовательного сравнения.

29. 4. Метод последовательных сравнений

• Процедура последовательных сравнений
состоит в следующем.
• 1. Эксперту представляется перечень
факторов, которые необходимо оценить по
их относительной важности и ранжировать.
Примечание. Наиболее важному фактору
придается оценка = 1, а остальным
факторам - оценки между 0 и 1 в порядке
их относительной важности.

30. 4. Метод последовательных сравнений

• Процедура последовательных сравнений
состоит в следующем.
• 1. Эксперту представляется перечень
факторов, которые необходимо оценить по
их относительной важности и ранжировать.
Примечание. Наиболее важному фактору
придается оценка 1 = 1, а остальным
факторам - оценки i между 0 и 1 в
порядке их относительной важности.

31. 4. Метод последовательных сравнений

• 2. Эксперт устанавливает, является ли
фактор с оценкой 1 более важным, чем
комбинация остальных факторов. Если это
так, то он увеличивает оценку 1 чтобы
она была больше, чем сумма всех
остальных, т.е.
.
• Если нет, то он корректирует оценку 1
(если необходимо) так, чтобы она была
меньше суммы всех остальных, т.е.
m
1
m 2
i
n
1 i
i 2

32. 4. Метод последовательных сравнений

• Далее определяется, важнее ли второй
наиболее важный фактор, чем все
остальные факторы, получившие более
низкие оценки; повторяется та же
процедура, что и для 1 . Процедура
последовательных сравнений
продолжается вплоть до (n - 1)-го фактора.

33. 4. Метод последовательных сравнений. Пример

• Допустим, что возможны четыре результата,
которые необходимо взвесить по их значимости.
Процедура взвешивания будет состоять в
следующем.
• 1. Упорядочим четыре результата по их значимости.
– О1 - наиболее важный результат,
– О2 - следующий по важности,
– далее идут О3 и О4.
• 2. Присвоим вес 1,00 наиболее важному результату
и некоторые другие веса - остальным результатам.
Так, эксперт может приписать результатам О1, О2, О3
и О4 веса 1,00; 0,80; 0,50 и 0,30 соответственно.

34. 4. Метод последовательных сравнений. Пример

3. Обозначим эти величины (веса 1,00; 0,80; 0,50 и
0,30 ) символами
v1 , v 2 , v3 , v 4 ;
их следует рассматривать как первые оценки
"истинных" значений О1, О2, О3 и О4.
4. Проведем сравнение О1, О2, О3 и О4, т. е. выясним,
что выберет эксперт, если ему предоставить
возможность "получить" результат О1 или сумму
результатов О2, О3 и О4.

35. 4. Метод последовательных сравнений. Пример

Предположим, что эксперт утверждает, что O1
предпочтительнее этой суммы. Тогда значение оценки
следует
изменить
так, чтобы выполнялось неравенство
1
1 2 3 4 .
• Например, можно принять, что 1 = 2,00;
• 2 = 0,80; 3 = 0,50; 4 = 0,30.
• Примечание. Первоначальные значения
оценок для О2, O3 и О4 остались без
изменений. Изменился вес O1 с 1 до 2-х.

36. 4. Метод последовательных сравнений. Пример

5. Сравним далее O2 с O3 и О4. Предположим, что
суммарный результат О3 и О4 более
предпочтителен. Тогда требуется дальнейшее
изменение первоначальных оценок. Например,
можно принять
1 = 2,00; 2 = 0,70; 3 = 0,50; 4 = 0,30.

37. 4. Метод последовательных сравнений. Пример

2
,
00
6. Если эти оценки не
'1
0,57;
3,50
противоречат мнениям
0,70
экспертов, можно их
'2
0,20;
3,50
нормировать, разделив
каждую из них на сумму всех ' 3 0,50 0,14;
3,50
оценок, которая в данном
0,30
случае равна 3,50.
'4
0,09.
3,50
Обозначив нормированные
оценки символами 'i ,
Итого 1,00.
имеем:

38. Резюме

• 1. Сущность метода экспертных оценок заключается
в проведении экспертами интуитивно-логического
анализа проблемы с количественной оценкой суждений
и формальной обработкой результатов
• Метод используется для решения различных сложных
слабоструктурированных, неформализуемых проблем
• 2. При решении многих практических задач часто
оказывается, что факторы, определяющие конечные
результаты, не поддаются непосредственному
измерению. Расположение этих факторов в порядке
возрастания (или убывания) какого-либо присущего им
свойства называется ранжированием.

39. Резюме

• 3. Экспертное ранжирование
осуществляется методом
непосредственной оценки, а также
методами последовательных и парных
сравнений
• 4. Непосредственное ранжирование
состоит в присваивании рангов факторам,
которые представлены для ранжирования.

40. Резюме

• 5. Процедура последовательных сравнений состоит в
проверке оценок факторов на базе их последовательного
сравнения. Квалификация (сведение качественных
характеристик к количественным) предпочтений в
сложных и комплексных проблемах с помощью метода
последовательных сравнений при наличии большого
числа факторов становится затруднительной. В таких
случаях сложную проблему расчленяют на ряд более
простых подпроблем и задач, для которых сравнительно
просто выявить предпочтения, используя метод парных
сравнений. Сущность метода состоит в сравнении
факторов попарно, с тем чтобы установить в каждой паре
наиболее важный.

41. Вопросы для повторения:

• В чем состоит сущность метода экспертных оценок?
• Назовите области применения методов экспертных
оценок.
• Охарактеризуйте этапы проведения экспертизы.
• Опишите порядок подготовки экспертизы.
• В каких случаях применяется ранжирование?
• Какова процедура последовательного
ранжирования?
• В чем состоят сущность и содержание метода
парных сравнений?

42. Литература

• Мухин В.И., Малинин В.С. Исследование
систем управления: Учебник для вузов.– М:
Издательство «Экзамен», 2003. – 384 с.
• Анфилатов B.C. и др. Системный анализ в
управлении: Учебное пособие/ Под ред.
А.А. Емельянова. - М.: Финансы и
статистика, 2002. - 368с.