Оценка социальных проектов и программ

1.

оценка социальных
проектов и программ
Ольга Щетинина
2025

2.

Что такое проект?
Социальный проект — это программа реальных действий, в основе
которой лежит актуальная социальная проблема, требующая
разрешения. Это один из способов участия в общественной жизни
путем практического решения насущных социальных
Проект – ограниченная во времени деятельность, направленная
на создание уникального продукта или услуги; любая деятельность,
имеющая четко определенную отправную точку и цели, достижение
которых означает завершение деятельности. На практике
большинство проектов для достижения целей могут использовать
лишь ограниченные ресурсы.
http://www.projectauditors.com/Dictionary/P.html

3.

Что такое программа?
Программа – это совокупность
проектов, каждый из которых делает
вклад в достижение цели программы.

4.

Может, у вас дела обстоят так?

5.

Нужна оценка?

6.

Для чего нужна оценка?

7.

Что такое оценка программ?
«Оценка есть определение достоинства или ценности»
Michael Scriven, The Logic of Evaluation, Inverness
«Цель оценки - измерение результатов программы и
сопоставление их с задачами, которые эта программа должна
решить»
Carol Weiss, Evaluation Research:
Methods for Assessing Program Effectiveness
«Систематический сбор информации о деятельности в
рамках программы (проекта), ее характеристиках и
результатах, который проводится для того, чтобы вынести
суждение о программе (проекте), повысить эффективность
программы (проекта) и/или разработать планы на будущее»
Алексей Кузьмин, «Процесс консалтинг»

8.

Для чего нужна оценка программ?
Продолжить или прекратить программу?
Каким образом можно улучшить программу?
Какие новые методы или способы
предоставления услуг могут быть добавлены в
программу?
Каким образом можно тиражировать подобную
программу в другом регионе или другой
организации?
Каким образом лучше распределить ресурсы
между конкурирующими программами?
Нужно ли принять или отклонить подходы и
стратегию, используемую в данной программе?

9.

Для кого нужна оценка?

10.

Что такое мониторинг?
Мониторинг -- Систематический сбор
информации о значениях заранее
выбранных индикаторов для обеспечения
руководителей и других заинтересованных
сторон сведениями о том, насколько
успешно выполняется программа развития, в
какой степени достигаются поставленные
цели и как используются фонды,
выделенные на данную программу.

11.

Отличия оценки от мониторинга
Мониторинг
Проводится
непрерывно.
Запланированные
результаты и
деятельность
сравниваются с
фактическими.
Полученная
информация
используется для
улучшения работы по
программе.
Оценка
Проводится на
ключевых этапах
реализации
программы.
Анализируются
причины достижения
или не достижения
запланированных
результатов.
Полученная
информация
используется и для
уточнения планов на
будущее.

12.

Мониторинг и оценка: соотношение
Контроль
Получение нового знания

13.

Жизненный цикл проекта и оценка

14.

Виды и типы оценки
• «Внутренняя оценка» или самооценка — проводится
специалистами, которые являются сотрудниками организации,
выполняющей проект. Для организации процесса самооценки
можно привлечь фасилитатора из числа партнеров или из
числа собственных сотрудников.
• «Внешняя оценка» — оценка, которая
проводитсяспециалистами, не являющимися сотрудниками
организации, осуществляющей проект, и не принимающими
участия в выполнении проекта.
«Формирующая оценка» (formative evaluation) - призвана
помочь менеджерам программы в принятии решений о
том, какие изменения необходимо внести в программу на
стадии ее реализации для повышения ее эффективности.
Оценку, в задачи которой входит исследование конечных
результатов и эффективности программы, называют
общим термином «суммирующая оценка» (summative
evaluation).

15.

Последовательность проведения
оценки

16.

ТЗ и план оценки
1) краткое описание предпосылок оценки
2) цели и задачи оценки, вопросы, гипотезы
3) описание методологии и дизайна оценки
4) инструменты сбора информации
5) график действий и мероприятий
6) описание ожидаемых продуктов оценки и
план использования ее результатов

17.

Оценка программы i3
Цель – определить, насколько удобны/понятны/прозрачны правила и
процедуры программы, а также выявить потенциал влияния
программы на развитие инновационных культурных продуктов в
стране.
Методология -- контент анализ документов, обзор существующих
исследований по данной тематике, экспертные интервью (члены
экспертного совета, эксперты сфер, поддерживаемых программой,
персонал программы, представители бухгалтерии фонда), on-line
анкетирования заявителей и грантополучателей.
• 92% считают правила и процедуры удобными
• 100% экспертов относятся положительно
• 22% заявителей считают процесс отбора заявок
непрозрачным
• Есть большие ожидания в экспертной среде на
расширение программы.
• Есть трудности с финансовой отчетностью

18.

Методы оценки
Анализ документов
Физические замеры
Визуальные наблюдения
Опросы/анкетирование
Интервью/беседы
Описание показательных примеров
(case study)
• Фокус групповые дискуссии
• Анализ затрат и выгод

19.

Оценка DFJ: цели, методология
Цель: оценить результаты обучения журналистов на
проекте DFJ с точки зрения применения ими
приобретенных знаний, а также разработать
рекомендации для дальнейшего развития Проекта.
Метод структурированного интервью c 53
респондентами:
•выпускники DFJ - журналисты за три года работы
проекта (2007-2008, 2008-2009; 2009-2010) – 34
респондента;
•выпускники DFJ – редактора/менеджеры (20072008, 2008-2009; 2009-2010) – 15 респондентов;
•эксперты рынка – 4 респондента.

20.

DFJ: оценка влияния
Большинство опрошенных выпускников Школы
(11 редакторов из опрошенных 15 и 19 журналистов
из опрошенных 34 ) сейчас работают в он-лайн
проектах, многие инициировали изменения
интернет - проектов, основываясь на опыте,
полученном на DFJ.
Из 75 выпускников школы:
14 получили повышение в медиа
4 улучшили свою карьеру
5 новых он-лайн проектов было запущено
100% выпускников применяют полученные знания
всего опрошено
Интернет-проекты
60
50
40
34
30
20
15
10
19
11
0
Редактора
20
Журналисты
“кроме всего приобретенного
теоретического опыта, мы
смогли практически
реализовать небольшие
собственные проекты или в
большом массмедиа или
вообще маленькие, большие,
средние собственные
проекты”(выпускник DFJ).
Выпускники назвали
множество нововведений,
которые они провели в своих
проектах

21.

Экспертиза замысла проекта
• Вид оценки, которая проводится в
процессе разработки проекта для
вынесения суждения о целостности
логики проекта, его реалистичности и
потенциальных рисках; это оценка
проектных предложений либо заявок.

22.

Вопросы к замыслу проекта
– Насколько обоснована логика программы? Хорошо ли
сформулированы ее миссия, цель и задачи?
Аргументированы ли причинно-следственные связи в логике
программы?
– Какие потенциальные риски связаны с реализацией программы?
Что может не сработать так, как задумано, или сработать не
совсем так? Почему? Можно ли свести эти риски к минимуму?
Если да, то каким образом?
– Каковы возможные позитивные и негативные эффекты
программы, являющиеся прямыми или косвенными,
запланированными или непреднамеренными следствиями ее
реализации?
-- Насколько реалистичен бюджет проекта и обоснованы
планируемые расходы?

23.

Проект уместен, если:
Он соответствует оговоренной стратегии и реальным
нуждам благополучателей;
Он привязан к стратегическим целям и требованиям
организации-донора;
Благополучатели участвуют в процессе планирования
проекта на самой ранней стадии;
Сделан тщательный анализ проблем;
Цели четко определены с точки зрения пользы для
целевой группы благополучателей.

24.

Проект выполним, когда:
Планируемые цели реально достижимы в условиях,
сложившихся на момент выполнения проекта;
Доказана способность организации выполнить проект;
Цели и результаты логичны и поддаются измерениям;
Внешние риски и допущения приняты во внимание.
Проект устойчив, если благополучатели продолжают
получать «выгоду» от проекта после его завершения.

25.

Логическая структура результатов
Вклад (ресурсы) input
˂ Деятельность
Продукт output
Результат outcome
Эффект (влияние) impact

26.

Логическая структура результатов
• Вклад (ресурсы)
Школа Журналистики Цифрового
Будущего
• Продукт
150 обученных студентов
• Результат
Применение полученных знаний,
развитие интернет-СМИ
• Эффект (влияние)
СМИ активно вышли в Интернет,
рост цифрового рынка

27.

Теория изменений
«Теория изменений — это теория того, как и
почему работает та или иная инициатива». Кэрол
Вайс

28.

29.

Правда или ложь?
• Оценка и мониторинг являются инструментами
контроля
• Оценка проекта всегда должна проводиться после
завершения проекта
• Мониторинг и оценку нужно проводить для
каждого проекта
• Участие целевой аудитории в оценке проекта
является необходимым
• Экспертиза замысла проекта необходима только
на этапе разработки
• Социальное воздействие проекта предсказуемо и
его всегда легко измерить

30.

Использованные ресурсы
Введение в оценку программ и проектов, Ирина Ефремова-Гарт
Оценка: От и До. — Новосибирск: Некоммерческое партнерство
«Информационно-аналитический центр развития гражданских
инициатив» (НП «ИнА-Центр»), 2015.
• «Руководство по оценке результатов программ социальной
направленности для специалистов cоциально ориентированных
некоммерческих организаций, Москва, 2015
• «Путеводитель для НКО: что нужно знать, чтобы деятельность
некоммерческой организации была успешной». – М.: Агентство
социальной информации, 2020.
• Sonia Herrero, Integrated Monitoring. A Practical Manual for
Organisations that Want to Achieve Results. Berlin, April 2012

31.

«Если ты используешь
оценку, то принимаешь
решения лучше и
помогаешь людям
больше»
Майкл Пэттон