Оценка проекта: зачем и как. Благотворительные гастроли, 2 этап

1. Оценка проекта: зачем и как

Благотворительные гастроли, 2 этап
Екатеринбург, 8-9 ноября 2018 года

2. Цели занятия

Закрепить знания, полученные в первую половину дня. И их углубить
Объяснить логику перехода от планирования результатов
социального проекта к их измерению
Помочь вам разработать первоначальный вариант системы
показателей для оценки ваших проектов

3. Исследовательская программа «Если быть точным»

Собираем и
анализируем
данные о третьем
секторе, мониторим
общественное
мнение о
социальных
проблемах
www.nuzhnapomosh/research
Информационная система «Если быть точным»
(при поддержке Благотворительного фонда
В.Потанина; релиз – 2019 год)
11 исследований опубликовано на сайте
Ещё 3 ожидают публикации
Регулярно проводим внутренние исследования
для нужд фонда
Помогаем в оценке эффективности социальных
проектов сторонним заказчикам

4. Определение понятий: Оценка

Оценочная деятельность в социальном проектировании включает:
Систематичный сбор информации
Рефлексию о достигнутых результатах
Принятие решения
= оценка как инструмент управления проектом
Когда оценочная деятельность охватывает всю деятельность НКО
= оценка как инструмент развития организации
А еще это про выявление ценности (evaluation) и принцип «не навреди»: принцип
актуален для всех участников проекта, но в первую очередь, если работа ведется с
социально-уязвимыми группами.

5. Такие разные оценочные исследования

Разработка и
планирование
проекта
Реализация и
мониторинг
Завершение или
развитие
проекта
Оценка исходной ситуации
Цель: Определить «точку отсчета» для планируемых
результатов проекта, задать базу для сравнения
Оценка потребностей
Цель: Определить приоритеты планируемой
деятельности – исходя из актуальности для целевых
групп (или величины разрыва между желаемым и
действительным положением дел)

6. Такие разные оценочные исследования

Разработка и
планирование
проекта
Оценка процесса (промежуточная, формирующая,
output) – цели:
Описать, что в действительности происходит
Реализация и
мониторинг
Проверить достижимость поставленных целей при
текущем ходе проекта
Выявить возможности для улучшения проекта
Завершение или
развитие
проекта

7. Такие разные оценочные исследования

Разработка и
планирование
проекта
Реализация и
мониторинг
Завершение или
развитие
проекта
Оценка результативности (итоговая, суммирующая,
outcome) – цели:
Соотнести фактические результаты проекта с
первоначальным планом и определить причины
расхождений
Выявить незапланированные эффекты
Определить необходимость продолжения и возможности
развития проекта
Оценка социального эффекта/воздействия (impact)
Цель: Зафиксировать изменение исходной ситуации и
определить вклад проекта в это изменение

8. Резюме: Прежде чем начинать оценку проекта, определитесь, кто и как будет использовать её результаты, какие решения принимать

>>>Где брать данные?

9. Определение понятий: Эффективность социального проекта

3 ключевых подхода. Эффективно, значит:
Запланированный результат достигнут (план vs факт, изменилось то,
что должно было измениться)
Достигнутые результаты адекватны вложениям (SROI)
Достигнутые результаты адекватны контексту (например, «не хуже чем
у других», или benchmarking)

10. Основные методы сбора данных

Всего три:
Кабинетное исследование – изучение
доступных материалов
Насколько структурированно?
Наблюдение
Опрос (групповые и индивидуальные
интервью, анкетирование)
Насколько регулярно?

11. Основные модели (дизайн) исследования

Эксперимент / рандомизированное контролируемое исследование:
сравнение контрольной и экспериментальной групп, отобранных случайно
Пре- и пост-тест / лонгитюдное исследование / когортный анализ: изучение
изменения состояния одной группы во времени
Ретроспективный анализ: поиск факторов, влияющих в прошлом, у одной
группы (описание отдельного случая) или в сравнении двух групп
(исследование случай-контроль)
Квази-эксперимент / исследование методом поперечных срезов:
сравнение двух групп, отобранных по подобию, в один момент времени

12. Пирамида доказательной способности научных исследований

В медицине (от наиболее сильных к
наиболее слабым доказательствам):
Ограничения при исследовании
социальных явлений:
Мета-анализ, систематический обзор
-
Социальная практика – не таблетка
Рандомизированные контролируемые
исследования (эксперимент)
-
Невозможно обеспечить лабораторную
чистоту: всегда остается вероятность
внешних факторов
Исследования случай-контроль
-
Поперечные исследования (квазиэксперимент)
Субъективность оценочных шкал: в
граммах/ сантиметрах не измеришь
-
Риск социально-значимых ответов и
влияния исследователя на результаты
-
Этический момент при проведении
экспериментов (кто-то помощь не получит)
Когортные исследования
Исследования на животных/ в пробирке
Описание отдельных случаев, мнение
экспертов
Адаптировано с: www.logicofscience.com

13. Где НКО брать данные? И как им доверять??

Начать с аудита уже собираемой информации
Потом: какая еще информация доступна?
И наконец: обратная связь от благополучателей – как
минимум, самооценка изменений. Более сложные методики:
«индивидуальный план развития», тесты «до и после», лонгитюд
+ Принцип триангуляции обеспечивает
надежность данных
https://www.etsy.com/listing/271433976/geometric-animal-art-blue-elephant

14. Резюме: Оценка результативности начинается с выстраивания системы измерения и мониторинга

>>>Переходим к практическому заданию

15. Определение понятий: Заинтересованные лица

Заинтересованные лица/ Стейкхолдеры – отдельные люди и группы,
чьи интересы затрагивает проект
Кроме благополучателей, это:
Доноры
Попечители
Волонтеры
Партнеры
«Все причастные»
-

16. Определение понятий: Непосредственный результат

Непосредственный результат деятельности/ Продукт / Output - то,
что осуществлено в рамках проекта.
Как измеряется (индикаторы):
наличием/отсутствием каких-то фактов;
количеством проведенных мероприятий / оказанных услуг / выпущенных
материалов / переданных вещей;
количеством людей, побывавших на мероприятиях/ получивших услугу /
контактирующих с материалом / получивших вещи и др.
-
При разработке проекта часто задаются плановые значения показателей.

17. Определение понятий: Социальный результат

Социальный результат / Результат / Outcome – это изменения,
которые преднамеренно и непреднамеренно произошли вследствие
реализации проекта.
Как измеряется (индикаторы):
увеличением количества каких-то позитивных проявлений и/или уменьшением
негативных;
долей стейкхолдеров, которые отметили влияние программы на их жизнь;
долей благополучателей, которые овладели навыками/умениями; развили
какие-то качества, улучшили качество жизни, поменяли поведение и др.
-
Плановые значения могут не задаваться.

18. Работа в группах: задание

1.
2.
3.
4.
Менеджер проекта коротко представляет проект группе
Группа выбирает человека, который будет отвечать за методический аудит
Группа заполняет таблицу в рабочей тетради
20 минут на всю работу. После чего менеджер проекта презентует результаты
Главное правило обсуждения: все мнения выслушиваются, но окончательное
решение – за менеджером проекта (ему с этим работать). При этом методолог
может озвучить альтернативное предложение во время презентации результатов
Критерии качества показателя – в помощь методологу:
Достижимость (можно подобрать метод, данные доступны)
Устойчивость (при повторном измерении результат совпадет)
Релевантность (меряет то, что должен мерить)
-

19. #Инструмент: Цепочка социальных результатов

Адаптировано с: www.socialvalue.ru
#Инструмент:
Цепочка социальных результатов
СтейкДеятельНепосредственные
холдеры ность по результаты деятельности
(Цел.
проекту Резуль- Показа- Методы
группы)
таты
тели
измерения
Чьи
Что
интересы
делаем?
затрагивает
проект?
Что
конкретно
сделано?
Социальные результаты
Результаты
Как описать Как собрать Что
то, что
данные для изменилось у
сделано?
описания?
стейкхолдеров?
Показатели
Методы
измерения
Как описать Как собрать
произошед- данные для
шие
описания?
изменения?
Возможности для расширения таблицы:
-
Социальные результаты: могут быть краткосрочными, среднесрочными, долгосрочными
(социальный эффект)
По каждому показателю:
Периодичность сбора данных | Ответственное лицо | Где хранятся | Где используются
Также можно задавать целевые значения показателей

20. Что невозможно измерить, тем невозможно управлять

- Джек Уэлч, американский предприниматель
Алгоритм выстраивания системы измерения и оценки:
1.
2.
Определяемся со стейкхолдерами и их ожиданиями
3.
Определяем показатели (индикаторы) достижения результатов,
периодичность и методы измерения. Если возможно, задаем целевые
значения
4.
5.
Распределяем ответственность за сбор (и анализ) данных
Формулируем результаты, которые хотим достичь (будут разными для разных
стейкхолдеров
Договариваемся о периодичности встреч для обсуждения

21. Вооружен – значит предупрежден

Угрозы внедрения системы мониторинга и оценки:
«А судьи кто?» = Страх сотрудников получить негативную обратную
связь
«Нет времени разбираться, надо дела делать» = Слишком много
задач, требующих оперативного вмешательства
«И так все хорошо» = Неочевидность преимуществ

22. Вооружен – значит предупрежден

Чем можно ответить на угрозы:
А судьи кто? Нет времени И так всё хорошо
1. Следовать этике оценщика
2. Запуск объявляется официально - руководителем
3. Определить ответственного сотрудника и дополнительно
замотивировать его (например, через обучение)
4. Обсуждать-обсуждать-обсуждать!
5. Автоматизировать все, что может быть автоматизировано

23. Преимущества внедрения системы измерения и оценки

Что говорят те, кто это сделал:
Уточнили цели и задачи проекта
Улучшили качество оказываемой помощи/услуг
Улучшили качество отчетности организации, составили "портфолио" для привлечения новых партнеров и ресурсов
Поняли, что работает и почему; что не работает и почему
Это работает и на мотивирование и вдохновление сотрудников и
привлечение волонтеров
//A Good Practice case study report: What good impact measurement looks like (Evaluation Support Scotland, 2013)

24. Узнать больше. На русском

Проекты АНО «Эволюция и Филантропия»:
http://socialvalue.ru Социальные результаты и показатели - пожалуй, наиболее полная
электронная библиотека методических пособий по оценке
http://pion.org.ru/ ПИОН – «Профессиональное решение для всех, кто реализует
программы в сфере защиты детства и профилактики социального сиротства.
Приложение поможет подобрать результаты и показатели для мониторинга и оценки,
а также наглядно представить логику программы»
http://ep-digest.ru Дайджест публикаций международного филантропического
сообщества, где одна из регулярных тем – это оценка социальных проектов
http://www.ozenka.info - Ресурсы по оценке программ в сфере детства. Текущий важный
проект: разработка стандарта доказательности практик в сфере детства (можно
присоединиться к обсуждению)
http://www.eval.ru/ - Ассоциация специалистов по оценке программ и политик (АСОПП)
проводит ежегодную конференцию по оценке (9-10 октября в 2018 году в Москве)
http://scisc.ru/ - МОО Сибирский центр поддержки общественных инициатив «популяризаторы» (в хорошем смысле) оценочных исследований в Сибири
http://www.ceecis.org/remf/Service3/unicef_rus/module1/index.html - Онлайн-курс UNICEF по
мониторингу и оценке (устаревший визуально, но не морально)

25. Узнать больше. На английском

Сайты ассоциаций оценщиков: https://www.eval.org/, http://www.evaluation.org.uk/ и другие
https://evpa.eu.com – широко используемая модель измерения социального эффекта и
кейсы; важный документ: A Practical Guide to Measuring and Managing Impact (2013)
https://iris.thegiin.org/ - каталог показателей социальных результатов
https://www.inspiringimpact.org/ - the place for online impact resources; a UK-wide collaborative
programme, working with the charity sector to help organisations know what to measure and
how to measure.

26. Спасибо за внимание!

Елизавета Язневич, [email protected]

27. #Цепочка социальных результатов: пример Благотворительных гастролей

Стейкхолде- Деятельры (Целевые ность по
группы)
проекту
НКО с
небольшим
опытом
организационной
деятельности
Обучение
основам
документации
НКО
Непосредственные результаты
деятельности
Результаты Показатели
Проведен
образова
тельный
модуль в
рамках БГ
Социальные результаты
Методы
Результаты Показатели
измерения
Кол-во
Лист
участников регистрацелевой
ции
группы на
модуле
% участФорма
ников, оста- обратной
вивших
связи
позитивные
отзывы
Применили
полученные знания
в своей
работе
Кол-во
НКО,
применивших полученные
знания в
работе
Методы
измерения
Опрос
спустя 3
месяца
после БГ
Список
наиболее
востребованных
тем
Больше примеров тут: Программа «Система измерения и оценки программ в области социального сиротства: онлайн-сервис,
экспертная поддержка и вдохновляющие кейсы» Сборник кейсов – АНО «Эволюция и филантропия», 2017