МЭО(ТПР)2021

1. Методы экспертных оценок

МЕТОДЫ ЭКСПЕРТНЫХ
ОЦЕНОК

2. Методы экспертных оценок

МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК
• Экспертные методы применяют в ситуациях, когда
выбор, обоснование и оценка последствий решений не
могут быть выполнены на основе точных расчетов.
• К экспертизе прибегают, когда необходимо сделать выбор
из множества возможных идей, решений, проектов.
• Экспертные исследования проводят с целью подготовки
информации для принятия решений ЛПР.
• Существует много методов проведения экспертизы:
голосование, ранжирование, попарное сравнение,
разбиение на классы.
• Методы экспертных оценок - методы организации
работы со специалистами-экспертами и обработки
мнений экспертов.
• Обычно для уверенного принятия решения, так как все
методы
экспертиз
субъективны,
используют
сразу
несколько методов и выводят общее решение.

3. ЭТАПЫ ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ

• Условиями проведения экспертизы является
коллектив
экспертов
и
перечень
оцениваемых идей.
• Результатом первого этапа экспертизы
является матрица оценок.
• Далее
с
помощью
определенного
выбранного метода учитывают совместно
все эти оценки и выбирают лучшую идею.

4. РАБОЧАЯ ГРУППА ЭКСПЕРТОВ

• Для проведения работы по методу экспертных
оценок создают Рабочую группу (сокращенно РГ),
которая организует по поручению ЛПР деятельность
экспертов, объединенных (формально или по
существу) в экспертную комиссию (ЭК).
• Число экспертов может быть
фиксировано и
таково, чтобы статистические методы проверки
согласованности мнений и затем их усреднения
позволяли принимать обоснованные решения.

5. метод «снежного кома»

МЕТОД «СНЕЖНОГО КОМА»
1. Для формирования списка экспертной комиссии от
каждого специалиста, привлекаемого изначально в
качестве эксперта, получают определенное количество
(обычно 5 - 10) фамилий тех, кто может быть экспертом
по рассматриваемой тематике.
2. Очевидно, некоторые из этих фамилий встречались
ранее, а некоторые - новые.
3. Каждого вновь появившегося опрашивают по той же
схеме.
4. Процесс расширения списка останавливается, когда
новые фамилии практически перестают встречаться.
5. В результате получается обширный список возможных
экспертов.

6. Экспертные оценки

ЭКСПЕРТНЫЕ ОЦЕНКИ
• Оценки экспертов могут быть выражены в
количественной, качественной форме.
• Экспертные оценки бывают индивидуальные и
коллективные.
• индивидуальные : c каждым экспертом работают
отдельно, он не знает, кто еще является экспертом,
а потому высказывает свое мнение независимо от
авторитетов.
• коллективные : экспертов собирают вместе для
подготовки материалов для ЛПР, при этом эксперты
обсуждают проблему друг с другом, учатся друг у
друга, и неверные мнения отбрасываются.

7. индивидуальные и коллективные Экспертные оценки

ИНДИВИДУАЛЬНЫЕ И КОЛЛЕКТИВНЫЕ
ЭКСПЕРТНЫЕ ОЦЕНКИ
• Индивидуальная экспертная оценка основана на
использовании в качестве источника информации
одного эксперта.
• В группу индивидуальных экспертных оценок можно
включить следующие методы: метод "интервью",
аналитические докладные записки, метод сценариев.
• Коллективная экспертная оценки предполагает о
выявление обобщенной объективированной оценки
экспертной группы путем обработки индивидуальных,
независимых
оценок,
вынесенных
экспертами,
входящими в группу.
• В группу коллективных экспертных оценок входят метод
"комиссий", метод "мозговых атак", метод Дельфи.

8. экспертные МЕТОДЫ. метод "Дельфи"

ЭКСПЕРТНЫЕ МЕТОДЫ. МЕТОД
"ДЕЛЬФИ"
• Методика
оказалась
очень
популярной
(анонимность,
многоуровневость, заочность, обратная связь).
• Название дано по ассоциации с древним обычаем обращаться в Дельфийский храм для получения поддержки при
принятии решений. Храм был расположен у выхода ядовитых
вулканических газов. По легенде, жрицы храма, надышавшись
газами, начинали пророчествовать, произнося непонятные
слова. Специальные "переводчики" - толковали эти слова и
отвечали на вопросы паломников.
• Метод Дельфи был разработан в 1950-е годы в корпорации
RAND (США) как метод экспертного прогнозирования влияния
будущих научных разработок на методы ведения войны,
впервые для широкого ознакомления опубликован в работе
Т.Гордона и О.Хелмера в 1964 году.

9. метод "Дельфи"

МЕТОД "ДЕЛЬФИ"
Метод "Дельфи" состоит из нескольких туров.
1. В первом туре эксперты формируют свое
мнение на проблему, решение.
2. Во втором туре каждый эксперт знакомится с
вариантами решений остальных.
3. Если его решение сильно отличался от решений
основной массы, его просят пояснить свою
позицию, и часто он изменяет свои оценки,
приближаясь к средним значениям.
4. Эти средние значения и выдаются ЛПР как
групповое мнение.

10. метод "Дельфи"

МЕТОД "ДЕЛЬФИ"
Недостатками метода «Дельфи» являются:
• оценка, слишком сильно отличающаяся от других,
практически исключается, несмотря на то, что она
может оказаться более верной, чем остальные, т.е.
большинство экспертов могут сойтись в ошибочной
оценке;
• трудность четкой формулировки вопросников,
громоздкость
стиля
изложения,
вызывающего
отрицательную реакцию отвечающих на анкету;
• ответы
высококомпетентных
экспертов
«разбавляются»
оценками
менее
информированных специалистов.

11. метод сценариев

МЕТОД СЦЕНАРИЕВ
• Применяется
прежде
всего
для
экспертного
прогнозирования
путем
установки
логической
последовательность событий.
• Используется
в
социально-экономической,
экологической
области,
при
разработке
методологического, программного и информационного
обеспечения анализа риска, например, химикотехнологических проектов, когда необходимо составить
детальный каталог сценариев аварий.
• Каждый сценарий описывает аварию своего типа, со
своим индивидуальным происхождением, развитием,
последствиями, возможностями предупреждения.

12. метод сценариев

МЕТОД СЦЕНАРИЕВ
• При применении метода сценариев необходимо
осуществить два этапа исследования:
- построение исчерпывающего, но обозримого набора
сценариев;
- прогнозирование в рамках каждого конкретного
сценария с целью получения ответов на интересующие
исследователя вопросы.
• Каждый из этапов лишь частично формализуем.
• Эксперты могут оценить вероятности реализации того
или иного сценария.
• Приходится
исключать
различные
маловероятные
события.

13. Дерево решений

ДЕРЕВО РЕШЕНИЙ
• Как вспомогательный инструмент при проведении
сценарного анализа удобно использовать метод дерева
решений.
• Он применяется в тех ситуациях, когда решения,
принимаемые в каждый момент времени, сильно зависят от
предыдущих решений и в свою очередь определяют
сценарии дальнейшего развития событий.
• Дерево решений – это сетевые графики, каждая ветвь
которых представляет собой альтернативные варианты
развития или состояния среды.
• При проведении сценарного анализа на сетевом графике
указываются вероятности наступления тех или иных
событий, а затем производится расчет ожидаемых
результатов.

14. ГОСТ Р ИСО/МЭК 31010 —2011. МЕТОДЫ ОЦЕНКИ РИСКА

15.

16. мозговой штурм

МОЗГОВОЙ ШТУРМ
• Организуется как собрание экспертов, на выступления
которых наложено одно существенное ограничение - нельзя
критиковать предложения других.
• В ходе заседания эксперты, "заражаясь" друг от друга,
высказывают все более экстравагантные соображения.
• Часа через два записанное на магнитофон или видеокамеру
заседание заканчивается, и начинается второй этап
мозгового штурма - анализ высказанных идей.
• Обычно из 100 идей 30 заслуживают дальнейшей проработки,
из 5-6 дают возможность сформулировать прикладные
проекты, а 2-3 оказываются в итоге приносящими полезный
эффект.
• Пример - при обсуждении возможностей защиты кораблей от
торпедной атаки была высказана идея: "Выстроить матросов
вдоль борта и дуть на торпеду, чтобы изменить ее курс".
После проработки эта идея привела к созданию специальных
устройств, создающих волны, сбивающиеся торпеду с
курса.

17. Метод "комиссий"

МЕТОД "КОМИССИЙ"
• Метод
«совещаний»
предполагает
проведение
совещания или дискуссии с целью выработки единого
коллективного мнения по решаемой проблеме.
• В отличие от метода «мозговой атаки» каждый эксперт
может не только высказывать свое мнение, но и
критиковать предложения других. В результате такого
тщательного обсуждения уменьшается возможность
ошибок при выработке решения.
• Достоинством
метода
является
простота
его
реализации.
• Однако на совещании может быть принято
ошибочное мнение одного из участников в силу его
авторитета, служебного положения, настойчивости
или ораторских способностей.

18. метод докладной записки

МЕТОД ДОКЛАДНОЙ ЗАПИСКИ
• Полезными
для
исследователя
являются
формализованные сведения о характере источников
аргументации, а также о степени влияния каждого из
источников на ответ эксперта.
• Такие
сведения
предлагается
получать
путем
заполнения соответствующей таблицы. В каждой
строке эксперт должен указать соответствующую
степень влияния (например, звездочкой).
• Аналитическая
форма
опроса
предполагает
длительную
самостоятельную
работу
эксперта,
направленную на анализ характерных свойств и
тенденций исследуемой системы. Такую форму
называют методом докладной записки.

19. формы опроса экспертов. анкетирование

ФОРМЫ ОПРОСА ЭКСПЕРТОВ.
АНКЕТИРОВАНИЕ
Наиболее часто применяемой формой опроса
экспертов является анкетирование.
• Вопросы должны быть сформулированы так, чтобы не
допускать неоднозначного толкования.
• Сложные вопросы разбиваются на более простые.
• Экспериментами установлено, что человек лучше
отвечает на качественные вопросы, чем на
количественные.
• Вопросы, включаемые в анкеты, следует составлять по
некоторой иерархической схеме, т.е. сначала
формулировать более общие вопросы, а затем
частные для исключения или более направленного
уточнения деталей.

20. Множество типов оценок альтернатив, используемых экспертами

МНОЖЕСТВО ТИПОВ ОЦЕНОК
АЛЬТЕРНАТИВ, ИСПОЛЬЗУЕМЫХ
ЭКСПЕРТАМИ

21. Виды данных

ВИДЫ ДАННЫХ
• Данные
бывают
количественные
и
качественные.
• Большое
значение
для
оценивания
альтернатив имеет определение типа шкал
показателей
эффективности
(оценок
альтернатив).
• Качественные данные - тяжесть проявлений
последствий угроз, степень риска, ценность
информации (высокая, низкая)и т.д.
21

22. Типы шкал параметров наблюдений

22
ТИПЫ ШКАЛ ПАРАМЕТРОВ
НАБЛЮДЕНИЙ
• Шкала определяет множество возможных оценок
показателя и их допустимых преобразований.
• Каждый тип шкалы имеет свою информативность и
свой класс допустимых преобразований (т.е.
операций с показателем), за пределы которого
нельзя выходить без риска получить ошибочные
или бессмысленные результаты.
• При
измерении
показателей
наибольшее
распространение
получили
номинальные,
порядковые
и
метрические
шкалы.
Среди
метрических выделяют абсолютные шкалы, шкалы
отношений и интервальные шкалы.

23. Номинальная шкала

НОМИНАЛЬНАЯ ШКАЛА
23
• Номинальная шкала или шкала наименований
применяется для описания принадлежности
объектов к определенным классам.
• В этой шкале число используют лишь для
обозначения
и
выделения
объекта:
всем
объектам одного и того же класса присваивают
одно и то же число, а объектам разных классов
— разные числа.
• Объекты, которым соответствует одно и то же
число
или
наименование,
считаются
эквивалентными.
• Отсутствуют понятия масштаба и начала отсчета.

24. Номинальная шкала

НОМИНАЛЬНАЯ ШКАЛА
• раса,
• национальность,
• цвет глаз,
• пол,
• типы сбоев,
• коды системных ошибок в БД,
• автомобильные номера,
• номера страховок.

25. Порядковая шкала

ПОРЯДКОВАЯ ШКАЛА
25
• Значения
чисел,
присваиваемые
классам,
качественно отражают степень выраженности
определенных свойств предметов, принадлежащих
этим классам.
• Большим значениям кодов классов соответствует и
большая степень выраженности измеряемого
свойства, на основании чего классы можно
ранжировать.
• Допустимыми считаются любые преобразования
показателей, которые не нарушают порядок
следования объектов.

26. Порядковая шкала

ПОРЯДКОВАЯ ШКАЛА
26
• должности и звания,
• сила землетрясения,
• степень
желтушности
покровов,
• рейтинг студентов.
кожных

27. Интервальная шкала

ИНТЕРВАЛЬНАЯ ШКАЛА
27
• Интервальная шкала – это шкала с наличием единицы
измерения.
• Примером шкалы является шкала температур термометра, в
котором единицей измерения является один градус (или его
доля).
• В отличие от порядковой шкалы значения показателей в шкале
интервалов позволяют определить, насколько один объект
превосходит другой. Эта шкала может иметь произвольные
точки отсчета и масштаб. Нулевая точка интервальной шкалы
произвольна (условна) и не указывает на отсутствие свойства.
• Допустимые
преобразования
показателей
описываются
линейными функциями вида f (F) = aF + b, где F— значение
показателя; а > 0— масштаб, b — начало отсчета.
• Основное свойство шкалы интервалов — сохранение
отношения
интервалов
при
любом
допустимом
преобразовании шкалы.

28. Интервальная шкала

ИНТЕРВАЛЬНАЯ ШКАЛА
28
В шкале интервалов измеряются :
• сроки службы оборудования,
• сроки начала и окончания работ,
• календарное время,
• температура
по
Фаренгейту
и
Цельсию.
• другие показатели, для измерения
которых необходимо фиксировать
масштаб и начало отсчета.

29. шкала отношений

ШКАЛА ОТНОШЕНИЙ
• Интервальная
и
рациональная
шкалы
(относительная
)
относятся
к
чисто
количественным типам данных.
• В интервальной шкале есть и положительные и
отрицательные величины (нет абсолютного нуля). В
связи с этим невозможно сказать, что 20 градусов
Цельсия - это в два раза теплее, чем 10. Можно
констатировать, что 20 градусов настолько же
теплее 10, как 30 - теплее 20.
• Рациональная шкала (шкала отношений) имеет
одну точку отсчета и только положительные
значения.
• Для температуры рациональной шкалой является
29
шкала Кельвина, где есть абсолютный ноль
(отсутствие тепла).

30. шкала отношений

ШКАЛА ОТНОШЕНИЙ
• При любых преобразованиях данной шкалы она
сохраняет отношение свойств объектов, т.е. в отличие
от шкалы интервалов, позволяет судить о том, во
сколько раз некоторое свойство одного объекта
«сильнее» или «слабее», чем это же свойство у другого
объекта.
• Показатели,
измеряемые
в
шкале
отношений,
наиболее распространены в теории и практике
управления.
• Примеры - стоимость, затраты ресурсов, объем
информации, расстояние и другие показатели, для
которых существует естественное начало отсчета
30
(нулевая точка): рост, вес, время, цена, количество
информации.

31. Абсолютная ШКАЛА

АБСОЛЮТНАЯ ШКАЛА
• В этой шкале принимается нулевая точка отсчета
(b = 0) и единичный масштаб (а = 1).
• Абсолютная шкала — самая совершенная.
• В ней не допускается никаких преобразований
показателей, т.е. f(F) = F. Это означает, что
существует только одно отображение объектов в
числовую шкалу.
• Шкала считается тем совершенней, чем меньше
множество ее допустимых преобразований.
• Показатели эффективности, используемые в
задачах принятия решений, могут использовать
шкалы разных типов.

32. ВЫБОР ШКАЛЫ

32

33. ВЫБОР ШКАЛЫ

33
• При выборе типа шкалы всегда необходимо
учитывать особенность решаемой задачи.
• Правильный
выбор
шкалы
для
измерения
показателей имеет большое значение и зависит
от наличия необходимой информации и цели,
которая преследуется при выборе (неверный
подбор шкалы ведет к искажению или потере
информации).
• Использование метрических шкал требует более
полной
информации,
а
получение
этой
информации
связано
с
дополнительными
затратами ресурсов и времени.

34.

34

35. МЕТОДЫ ОБРАБОТКИ ОЦЕНОК. Голосование

МЕТОДЫ ОБРАБОТКИ ОЦЕНОК.
ГОЛОСОВАНИЕ
• Результирующее мнение может быть получено на
основе
различных
подходов
(статистические,
алгебраические методы, методы шкалирования).
• Голосование - можно применять в том случае, если
мнений, которые предложены к рассмотрению,
меньше, чем собравшихся. Но задача может не
решиться за недостатком кворума или решиться
нечестным
способом,
например,
сговором
представителей.
• Простейший
способ
голосования
—
выбор
большинством голосов. Достоинства – простота,
недостатки
решение
принимается
неквалифицированным большинством.
• Данный способ можно существенно улучшить.

36. МЕТОДЫ ОБРАБОТКИ ОЦЕНОК. Голосование

МЕТОДЫ ОБРАБОТКИ ОЦЕНОК.
ГОЛОСОВАНИЕ
• Голосование большинством 2/3. Для принятия
решения требуется набрать 2/3 голосов. Такое
правило применяется в особо ответственных
случаях, повышая порог принятия решения. Но при
этом метод часто приводит в тупик, так как
необходимого количества голосов набрать какомуто одному из проектов достаточно трудно.
• Голосование с правом вето. В этом случае любой
эксперт имеет право заблокировать общее
намечающееся решение одним своим голосом,
если решение ему невыгодно или опасно.

37. МЕТОДЫ ОБРАБОТКИ ОЦЕНОК. Голосование

МЕТОДЫ ОБРАБОТКИ ОЦЕНОК.
ГОЛОСОВАНИЕ
• Талонное голосование. Голосовать можно только при
наличии талона. Талонов меньше, чем голосований в
течение оговоренного отрезка времени.
Пример. На 12 совещаний в год каждому эксперту
выдается 8 талонов. Т.о., если эксперт чувствует себя не
вполне компетентным по какому-то вопросу, он не
вмешивается в процесс голосования, сохраняя талон для
более важного для него вопроса.
• Метод существенно улучшает процедуру голосования,
заставляя ответственно оценивать не только проекты, но и
себя.

38. МЕТОДЫ ОБРАБОТКИ ОЦЕНОК. Голосование

МЕТОДЫ ОБРАБОТКИ ОЦЕНОК.
ГОЛОСОВАНИЕ
• Туровое голосование. В первом туре голосования
отбирается как результат 2-3 проекта, которые
набирают большинство голосов или проходят
установленный порог. Во втором туре все
эксперты голосуют снова, но только уже за эти 2-3
отобранных проекта.
• В качестве примера можно привести выборы
президента в России или во Франции.
• Недостатки - эксперт во втором туре вынужден
голосовать не за то решение, которое ему
нравится, а за одно из тех, которые прошли во
второй тур. Возникает иллюзия выбора.

39. Методы обработки экспертной информации

39
МЕТОДЫ ОБРАБОТКИ ЭКСПЕРТНОЙ
ИНФОРМАЦИИ
•Статистические - основаны на предположении о том, что
отклонение оценок экспертов от истинных происходит в силу
случайных причин, и задача состоит в том, чтобы
восстановить это истинное значение с наименьшей
погрешностью;
•Алгебраические
на
множестве
допустимых
преобразований задается расстояние, а результирующая
оценка определяется как та оценка, сумма расстояний от
которой до оценок экспертов минимальна;
•Методы шкалирования - по экспертной информации о
степени различия объектов устанавливается минимальный
или близкий к минимальному набор критериев и оценок
объектов по ним, обуславливающих указанные различия
(уменьшение числа факторов, которые необходимо
принимать во внимание).

40. Статистические методы

СТАТИСТИЧЕСКИЕ МЕТОДЫ
40
• Статистические
методы
позволяют
определить
согласованность
мнений
экспертов,
значимость
полученных оценок и др.
• Группа экспертов формирует обобщенное итоговое
мнение в зависимости от типа используемых оценок
показателей эффективности альтернатив.
• Если Ωэ=R, т.е. задача эксперта состоит в сопоставлении
системе одного числа. Эксперты изолированы и
отсутствует обратная связь.
• Тогда в качестве итоговой оценки можно использовать
формулу средневзвешенного.

41. Статистические МЕТОДЫ

СТАТИСТИЧЕСКИЕ МЕТОДЫ
• Также можно определить статистическую
значимость
полученных
результатов:
задавшись вероятностью ошибки Pош, указать
интервал, в который оцениваемая величина
попадет с вероятностью 1- Pош.
• Интервальной
оценкой
параметра
ϴ
называется числовой интервал (ϴ1,ϴ2) который
с заданной вероятностью ϒ (надежностью)
покрывает неизвестное значение параметра
ϴ.
• Такой
интервал
(ϴ1,ϴ2)
называется
доверительным,
а
вероятность
ϒ
доверительной
вероятностью,
уровнем
доверия или надежностью оценки.

42. ПРАВИЛО ТРЕХ СИГМ

• В явлениях, подчиняющихся нормальному
закону
распределения,
между
значениями средней арифметической,
среднего квадратического отклонения и
вариантами
существует
строгая
зависимость:
• 68,3% значений варьирующего признака
находятся в пределах М ± 1σ ,
• 95,5% — в пределах М ± 2σ и
42
• 99,7% — в пределах М ± 3σ .

43. ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ

• Величина доверительного интервала зависит от объема
выборки и надежности ϒ (уменьшается с ростом n и
увеличивается с приближением ϒ к единице).
• Иногда доверительный интервал выбирается симметричным
относительно ϴ параметра: (ϴ-Δ,ϴ+Δ).
• Ошибка Δ (наибольшее отклонение оценки параметра ϴ )ошибка репрезентативности (представительства) .
• Ошибка выборки - расхождение между характеристиками
выборочной и генеральной совокупностей.
• Она возникает вследствие того, что исследуется не вся
совокупность, а лишь часть.
43

44. Построение доверительного интервала при известном среднем квадратическом отклонении и нормальном распределении СВ (большие

ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНОГО ИНТЕРВАЛА ПРИ
ИЗВЕСТНОМ СРЕДНЕМ КВАДРАТИЧЕСКОМ
ОТКЛОНЕНИИ И НОРМАЛЬНОМ РАСПРЕДЕЛЕНИИ СВ
(БОЛЬШИЕ ВЫБОРКИ)
Вероятность того , отклонение выборочной средней от
генеральной средней не превзойдет число Δ>0 (по
абсолютной величине, Δ - наибольшая из возможных
ошибок), равна:
ഥ −