Измерение воздействия проектов InVision

1.

ИЗМЕРЕНИЕ ВОЗДЕЙСТВИЯ
ПРОЕКТОВ INVISION
Представление первой части методологии и следующих шагов

2.

Наш план на сегодня
Представить первую часть методологии измерения воздействия:
- основы подхода
- универсальные показатели
- сбор данных
Получить ваши комментарии или вопросы
Обсудить процесс сбора данных и следующие шаги
Согласовать классификацию проектов

3.

Еще раз коротко
о главном
3

4.

OKR
1. 100% inVision programs have implemented an impact
measurement model, measure their impact on the world and
inDrive’s business
2. Organization has clear methodology to measure its impact on
the world and inDrive’s business

5.

Наш подход к измерению воздействия
Что именно
нам это даст?
Challenging injustice to make the world a fairer place for 1bn+ people
POSITIVE IMPACT
Качественные
изменения
Измерение качественных
изменений (SROI, универсальные
и индивидуальные индикаторы
проектов)
Понимание эффективности
проектов
Прогноз «социальной
окупаемости»
Данные для внешней
отчетности (в т.ч. для
инвесторов)
Полная информация о
воздействии проекта и
вклада в миссию
Стратегическое
планирование
Масштабирование проектов
с учетом специфики
приоритизация проектов
1 BILLION IMPACT
Косвенное воздействие
Прямое воздействие
Количество человек, которое
получило доступ
к новым дополнительным
возможностям
Количество человек,
на которых оказано
непосредственное прямое
позитивное воздействие

6.

Измерение воздействия проектов inVision 2023-2024
100% of inVision programs have implemented impact measurement models
and measured their impact on the world and inDrive’s business
январь 2023 - февраль 2024
Разработать методику измерения
воздействия для проектов inVision
Индивидуальная методика под inDrive, основанная на ведущих
международных методологиях. Состоит из трех частей,
разрабатываемых последовательно:
1. разработка универсальных показателей и подхода + SROI для всех
проектов
2. разработка индивидуальных показателей для проектов
3. разработка показателей и подхода для измерения воздействия на бизнес
Ознакомить и обучить команду
inVision самостоятельно работать
с методологией
Обучение проводится после каждого этапа разработки
соответствующей части методологии
Провести измерение воздействия всех
проектов inVision и проанализировать
результаты
Сбор данных и измерение будут проводится поэтапно

7.

Этапы разработки методологии 2023-2024
1
Универсальные показатели
(декабрь 2022 — июнь 2023)
2
индикаторы, одинаковые для всех проектов, с помощью
которых можно сравнивать между собой любые проекты,
независимо от их направлений, целевых аудиторий, задач
Индивидуальные показатели для
стримов и проектов
(март 2023 — ноябрь 2023)
3
индикаторы, подобранные специально под отдельные
проекты и для направлений (стримов) проектов,
объединенных по принципу схожести решаемых социальных
проблем; позволяют оценить проекты в рамках стрима
Показатели воздействия на бизнес
(май 2023 — январь 2024)
-
индикаторы, позволяющие измерить влияние
проектов на inDrive по отдельным бизнеснаправлениям (PR, GR, HR и др.)
внутри каждого этапа:
разработка методологии и перечня метрик
презентация тимлидам и сбор обратной связи
сбор данных по метрикам
измерение воздействия

8.

Где мы
сейчас
8

9.

Что уже сделано
Что сделано?
-
заполнены анкеты и собрана общая информация о
деятельности проектов на основе ответов
В чем польза?
-
сформировано описание портфолио проектов
собрана структурированная база информации о проектах,
к которой можно обращаться
Спасибо всем командам за заполнение анкет по проектам!
-
разработана первая часть методологии (введение в
измерение воздействия и универсальные показатели для
всех проектов)
-
дано общее представление о целях измерения
воздействия и подходов к этому процессу - рекомендуем
к ознакомлению
-
разработаны универсальные показатели и рекомендации
по их сбору
-
позволяют систематизировать сбор данных и
зафиксировать единый подход к их сбору
в дальнейшем позволят измерить воздействие всего
портфеля проектов
-
разработана методология расчета SROI
-
позволяет погрузиться в использование инструмента SROI
и его возможности
-
проведено измерение SROI для проекта Begin IT (пилот на
основе данных, предоставленных в анкете)
-
протестирована методика расчета SROI для дальнейшего
использования при расчете всех проектов
-

10.

Методология измерения воздействия
проекты глав готовы
главы в работе
Глава 1. Миссия inDrive, и как она
воплощается в социальной политике
компании
Глава 4. О проектах inVision
Глава 7. Показатели, индивидуальные
для стримов и проектов
Глава 2. Воздействие, и как его
оценить
Глава 5. Показатели, общие для всех
проектов inVision
Глава 8. Рекомендации по
увеличению позитивного воздействия
проектов
Глава 3. Процесс измерения
воздействия проекта
Глава 6. Показатели создания
социальной стоимости (социальный
возврат инвестиций, SROI)
Глава 9. Измерение воздействия на
бизнес
Ознакомиться с актуальным проектом гайда по методологии можно по ссылке.

11.

ЭТАП 1
универсальные показатели
Индикаторы, одинаковые для всех проектов
С помощью этих показателей можно сравнивать между собой любые
проекты, независимо от их направлений, целевых аудиторий, задач.
Включают в себя измерение:
- количественных данных (охват в людях)
- качественных изменений (размер социальных изменений)
- других аспектов воздействия

12.

SROI для измерения
качественных изменений
Социальный возврат инвестиций (англ. Social Return on Investment или SROI) —
это методология, используемая для измерения социального и экологического
воздействия организации или проекта.
Методология SROI позволяет проанализировать воздействия вовне и
представить их в денежном выражении, учитывая финансовые и
нефинансовые прибыли и убытки, связанные с проектом/ами, и соотнести с
понесенными затратами.
SROI = коэффициент = соотношение =
созданная проектом социальная ценность, выраженная в денежных единицах
затраты на проект в денежных единицах

13.

Что показывает SROI?
Сколько социального воздействия в денежном
эквиваленте приносит каждый вложенный доллар
Сколько людей позволяет охватить
каждый вложенный доллар

14.

SROI для измерения воздействия
проектов inVision
ПОКАЗАТЕЛЬ
1
ПОКАЗАТЕЛЬ
2
Универсальный - Прогнозный SROI
SROI, полученный на Этапе 1:
Индивидуальный - Фактический SROI
SROI, полученный на Этапе 2:
● Универсальный показатель для всех
проектов
● Показатель для направления проектов
● Измеряет размер созданной
социальной ценности и ее
экономическую эффективность
● Позволяет сравнить эффективность
всех проектов портфеля
● Измерение базируется на
результатах, специфичных для
направления проектов (количество
трудоустроенных участников,
повышение качества жизни, пр.)
● Позволяет сравнить эффективность
проектов внутри направления
14

15.

Универсальный vs Индивидуальный SROI
Параметр сравнения
Универсальный SROI, прогнозный
Индивидуальный SROI, фактический
Определение
SROI, позволяющий измерить и(или)
спрогнозировать размер возможности,
которую проект предоставляет социуму
SROI, который основан на результатах измерения
фактических социальных и экологических
результатов проекта после его реализации
Когда производится
оценка
До внедрения проекта / во время работы
проекта
После завершения периода проекта / всего проекта
Цель
-
-
-
Формула
Принять информированное
инвестиционное решение
Сравнить между собой проекты из
различных стримов
Продемонстрировать размер социальной
возможности, которую создаст проект
Определить потенциальные риски и
возможности проекта
-
Показать результаты работы проектов
Измерить размер воздействия проекта
Сравнить результаты проектов внутри одного
стрима
Выявить возможности об улучшении результатов
проекта и максимизации социальной ценности
Принять информированное решение о
продолжении инвестиций в проект / его
масштабировании
Размер социальной возможности ($) х
размер воздействия (чел.)
Размер социальной ценности ($) х
размер воздействия (чел.)
Инвестиции ($)
Инвестиции ($)
Источники данных
Исследования и предыдущий опыт
Результаты измерения фактических социальных и
экономических показателей проекта
Заинтересованные
стороны
Внутренние ЗС, принимающие решения о
финансировании проектов (С-Level,
менеджмент проекта)
Внешние ЗС (инвесторы, медиа, общественность) и
внутренние ЗС (управленческий учет)
Количество метрик
оценки
Одна - размер социальной возможности
Неограниченно, зависит от количества направлений
воздействия проекта (обычно не более 10 метрик)
15

16.

Универсальный SROI для Этапа 1
измеряет одну метрику размер создаваемой социальной возможности
социальная возможность - разная для всех проектов,
поэтому запросы для сбора данных отличаются
пример — как будет выглядеть расчет SROI для проекта на примере BeginIT

17.

SROI ДЛЯ BEGINIT
По итогам расчетов прогнозный SROI для проекта
BeginIT составил 788
Что это значит?
● Это значит, что каждый вложенный в проект доллар за три года помог создать
социальную возможность в эквиваленте 788 долларов
● Это значит, что каждый из 821 человек, участвующих в проекте, получил такие
возможность повысить свой уровень жизни, к которым он ранее не имел доступа
● SROI > 1 говорит о том, что проект создает, а не уменьшает, социальную ценность
17

18.

Стрим
Проект
SROI
2019
2020
2021
Begin IT
Образовательные
Star Team
проекты
Spark University & Lab
Спортивные
проекты
Экологические
проекты
Благоустройство
2023 EST
788
Проекты, по которым пока
недостаточно данных для
расчета SROI:
1.
Моя карьера
187,59
151,51
3,08
5,37
Искра
6,15
13,83
Supernovas
3,10
2,83
3. Центр IT-развития
"Смарт" (проект
завершен)
24,34
4. YaBlogger (проект
завершен)
257,65
5. Running
Якутский марафон (проект
завершен)
AyarKut
Проекты в
области искусства Sinet Sakhawood
Проекты в
области
технологий
2022
145,47
13,78
0,00
14,16
132,22
11,55
Aurora Tech Award
235,58
17,18
225,43
Yakutia2world (проект завершен)
5,21
6. inDrive Film Project
Мониторинг горения свалки
56,37
Озеленение Якутска
4,87
Борьба с лесными пожарами
(проект завершен)
28,02
Мусору.нет (проект завершен)
0,15
Детские площадки (проект закрыт)
136,91
Дворовые туалеты (проект закрыт)
4,31
7,11
0,39
227,86
79,63
7,08
46,00
7. Underdog Tech Award
8. Developing local
startup communities
9. Антипылевая
программа (проект
завершен)
Купол
ИТОГО по портфелю проектов
2. Mentoring Program
137,42
92,45
10. Комары (проект
закрыт)

19.

УНИВЕРСАЛЬНЫЕ ПОКАЗАТЕЛИ
полный перечень
1. Управленческие показатели
- География проекта
- Коэффициент успеха достижения целей (гамма-фактор)
2. Информационные
показатели
- Число сообщений в СМИ, инициированных в рамках проекта
- Общие медиаохваты проекта
- Процент представителей целевой аудитории, осведомленных о проекте
- Процент зарегистрированных представителей целевой аудитории
3. Показатели участия в
проектах (охват)
- Количество участников/посетителей/клиентов
- Количество охваченных представителей вторичной целевой аудитории
4. Показатели
удовлетворенности
- Индекс удовлетворенности проектом
- Процент участников, прошедших полный курс / принимавших участие в программе до завершения
- Процент представителей целевых аудиторий, которые участвуют в программе повторно
- Процент участников, которые пришли по рекомендации
5. Финансовые показатели
- Стоимость проекта в расчете на одного участника
- Стоимость проекта в расчете на одного представителя всего охвата (первичная и вторичная ЦА)
- Объем внешних средств, привлеченных проектом (денежные средства)
- Объем внешних средств, привлеченных проектом (товары, услуги)
6. SROI
- Прогнозный SROI, измеряющий размер создаваемой социальной возможности

20.

Сбор данных для
показателей Этапа 1
20

21.

Ключевое о сборе данных
Что
собираем?
Данные по
перечисленным в
анкете
показателям по
ссылке
Кто
собирает?
Как
собирает?
Руководитель
проекта организовывает
процесс сбора
данных
Команда проекта подключается к
процессу сбора
Внести в анкету
имеющиеся
данные, при
отсутствии —
организовать сбор
данных и
дополнить анкету
Какие
сроки?
С 24 мая по 26 июня
2023 включительно
21

22.

Сбор данных для Этапа 1
Анкета
Анкета с листом для каждого
проекта (по аналогии с анкетой
для сбора информации о
проектах)
Включает в себя:
- универсальные показатели
- вопросы для расчета
прогнозного SROI
Дедлайн - 26 июня 2023

23.

Результаты измерения
воздействия
23

24.

Сбор данных для Этапа 1
Результаты
Сводная таблица с данными по всем проектам
Результаты измерения воздействия, общие по проектам
(например, общий охват)
Презентация с визуализацией итогов измерения воздействия

25.

Дальнейшие шаги

26.

Следующие шаги для тимлидов
1
2
3
4
Изучить материалы
по Этапу 1:
- методология
- анкета (рус, eng)
- расчет SROI
Оставить обратную
связь в
комментариях и/или
в гугл-форме
Присоединиться к
встречеконсультации с
командой проекта
Собрать данные и
заполнить анкету
до 07.06.2023
(рус, eng)
до 07.06.2023
(рус, eng)
до 26.06.2023
с 07.06 по 14.06
При необходимости — обновить данные о проектах в
предыдущих анкетах
до 26.06.2023
26

27.

Обновление анкет о проекте
1
При необходимости обновить анкету о
проекте можно до 26.06.2023. Для этого:
1. Перейти по ссылке на файл с
заполненными анкетами
2. Внести необходимые изменения в анкету
ярким цветом — чтобы было видно, что
именно изменилось или добавилось.
3. Дать знать, что вы отредактировали
анкету, для этого — к графе "Дата
заполнения" добавить комментарий с
текстом “анкета обновлена 10.06.2023
(указав актуальную дату обновления)” и
написать Асе Вильдт
2
По отдельным проектам мы вернемся с
вопросами для уточнения данных
в период до 26.06.2023
27

28.

Следующие шаги по разработке методологии
1
2
3
Доработать
методологию и
показатели по
полученным
комментариям
Оценить
воздействие
проектов, исходя из
собранных данных
Параллельно
сбору данных —
разработка
методологии для
Этапа 2
(индивидуальные
показатели)
28

29.

Для Этапа 2
— согласование классификации проектов
МИРО С КЛАССИФИКАЦИЕЙ
Просьба найти свой проект и
согласовать или прокомментировать
стрим, к которому он отнесен
29

30.

До 07.06.2023:
1. Изучить материалы к Этапу 1
“Домашнее
задание” :)
и ссылки
(методология, анкета (рус, eng), расчет
SROI для вашего проекта)
2. Оставить обратную связь в
комментариях и/или в гугл-форме (рус,
eng)
До 26.06.2023:
1. Собрать данные и заполнить анкету (рус,
eng)
2. При необходимости — обновить анкету с
информацией о проекте
По любым вопросам — пишите Асе Вильдт

31.

32.

backup
32

33.

Гамма-фактор проекта
Показатель, измеряющий выполнение индивидуальных целей проекта.
Представляет собой соотношение:
Фактическое значение выполнения цели
Запланированное значение выполнения цели
Пример 1: Aurora Tech Award.
Цель: 750 заявок на участие.
Фактическое выполнение (предположим): 1000 заявок.
Гамма-фактор этой цели: 1000/750 или 133%
Пример 2: Борьба с пожарами.
Цель (предположим): передать 15 районам противопожарное оборудование.
Фактическое выполнение: передано 11 районам.
Гамма-фактор этой цели: 11/15 или 73%

34.

Цикл оценки для проекта после внедрения
методологии
проект
Старт бюджетного
цикла
- Постановка целей
проекта
- Расчет прогнозного
SROI
Финиш бюджетного цикла
- Сбор количественных и качественных
данных по универсальным и
индивидуальным показателям
- Расчет фактического SROI
- Измерение воздействия
В течение бюджетного цикла
- Сбор данных по отдельным этапам / циклам
/ событиям проекта (опционально)
34

35.

Как результаты измерения воздействия помогут
в управлении проектом?
1
2
3
4
Можно увидеть
необходимость
изменений в проекте
для его улучшения
Можно обосновать
необходимость
изменений проекта
для руководства
Можно быстро
собрать данные для
подготовки заявки
на участие в премии,
конкурсе, рейтинге
Можно
быстро собрать и
предоставить
данные для внешней
и внутренней
отчетности
35

36.

Какие управленческие выводы можно сделать на
основе данных? Несколько примеров
1. Управленческие
показатели
- Гамма-фактор регулярно меньше 100% — проект ставит слишком амбициозные цели, которые невозможно
достичь с текущими ресурсами
2. Информационные
показатели
- Кол-во сообщений или охватов в СМИ ниже, чем у похожих проектов — нужно попросить коллег поделиться
опытом работы с медиа
- Больше половины ЦА знают о проекте, но кол-во участников не растет — возможно, нужно масштабирование
на другие регионы
3. Показатели участия
в проектах (охват)
- Кол-во участников значительно меньше, чем кол-во предварительно зарегистрированных людей — возможно,
механика проекта не может помочь решить их запросы
- Нет или практически нет вторичной ЦА — стоит подумать над дополнительными действиями в рамках проекта,
чтобы увеличить охват
4. Показатели
удовлетворенности
- Участники не доходят до конца, а значит, снижается долгосрочное воздействие проекта — нужно увеличивать
мотивацию
- Есть участники, которые приходят по рекомендациям — нужно больше использовать этот канал продвижения
5. Финансовые
показатели
- Стоимость проекта в расчете на одного участника уменьшается год от года — выбраны эффективные методы
продвижения, но стоит обратить внимание на удовлетворенность участников
- Проект не привлекает внешние инвестиции, но при этом высокие медиаохваты — можно предлагать
партнерам и спонсорам участие в проекте с упоминанием их в публикациях
6. SROI
- Если SROI больше единицы — проект создает социальную ценность для ЦА
- Для проектов с отложенным эффектом (образовательных, например) - SROI поможет понять, в какой момент
проект начинает “работать в плюс”
- Можно сравнить несколько разных механик проекта и отдать приоритет той, что будет создавать больше
ценности
(Но надо помнить, что результаты работы проекта можно оценить только с помощью фактического SROI,
который будем считать на Этапе 2)