Матрица_тестового_покрытия_Окта_Банк

1.

Матрица тестового
покрытия функционала
Октабанк
23 января 2025

2.

Какое у тебя качество тестирования на
проекте?

3.

С какими проблемами сталкиваются
команды при росте:
Залоченность знаний
Отсутствие понимания
покрытия функционала
проверками
Не прозрачность
составления тест планов
Плохое понимание
критичности use case
Дублирование проверок
Отсутствие важных
проверок по критичным US
Не можем сказать какой
объем работы необходимый
для передачи
автоматизаторам
Объемный регресс

4.

Новый уровень
абстракции
Структурирование
общей проблематики
Создание регламента написания
матрицы покрытия
Упрощение работы через
автоматизацию
Сбор метрик по командам
Упрощение подготовки релизных отчетов в спринте
Рассылка сообщений лидам и менеджерам
Illustrations by Pixeltrue on icons8

5.

Первый промежуточный результат:
1. Мы создали матрицу покрытия функционала
отображающее покрытие в цифрах по функционалу
разбитому на критичные для бизнеса части функционала.
2. Разделяем матрицу по мере увеличения кол-ва команд.
3. Мы смогли разгрузить часть работы и переключиться на
более приоритетные для тестирования задачи. Мы адресно
закрываем не покрытые пользовательские истории.
4. Мы уходим от залоченности знаний на лидах команд.

6.

“
Проектная вовлеченность в МП
дает исчерпывающие понимания
для бизнеса в каком состоянии
находится тестовая модель и
процесс формирования релизов
”

7.

E-commerce

8.

Проект который считал что у них 100%
покрытия до внедрения данного функционала

9.

E-commerce

10.

“
Проект «Совкомбанк Бизнес»
выполнили эту работу за 2
недели. Состав: 2 junior и 1 traine.
”

11.

Совкомбанк Бизнес

12.

Совкомбанк Бизнес

13.

“
Проект Колесо фортуны сделал
матрицу за 1,5 рабочих дня.
Junior тестировщик.
”

14.

Колесо фортуны

15.

Колесо фортуны

16.

Принятие
Работа «руками» заняла много времени
одной команды
От идеи до момента получения первых результатов у нас ушло
от одного до двух месяцев работы на парт тайм.
Приняли решение автоматизировать процесс и нашли нужные
компетенции внутри команды.
В итоге скрипт, на который потратили 2,5 часа рабочего
времени сократило работу по составлении матрицы в 1,5 раза.

17.

И тогда мы решили масштабировать наш
проект на весь Совкомбанк и поделиться
успешным опытом работы нашей команды.
Мы осмелились предположить, что при едином
подходе мы получим метрики по покрытию
функционала на качественно ином уровне.
При небольшой проработке появился проект
портала для сбора качественных метрик.
Illustrations by Pixeltrue on icons8

18.

19.

Объем работы ручного тестировщика

20.

01
03
UC
Тестировщик формирует UC по
проекту. Проходит ревью у
системного аналитика
02
Обновление
Работа над актуализацией будет
проводится на основании
матрицы и обязательным
действием будет ее обновление
Проверки
ТК с жестким разделением на
Позитивные, Негативные и
Валидационные ТК. А так же
написание чек листов по UC с
критичностью меньше 6
04
Покрытие
Необходима простановка задач в
YouTrack на покрытие
функционала и актуализацию
тестовой модели.

21.

Изменения для менеджмента и лидов
тестирования

22.

01 Мониторинг дельты
изменений
В ближайшей перспективе общая статистика
будет показывать дельту по покрытию и
дельту по увеличению UC по неделям. Вы
фактически будете знать где происходит рост
объема работы или фазы активной
разработки на проектах
03 Лиды практически не
нужны
На маленьких и больших проектах
освободится административная нагрузка на
лида. Можно глянуть по задачам какие UC
затронуты и составить тест план не
пропустив ни одного ТК.
02 Заведение задач на
актуализацию
Заведение задач актуализации на
анализе данных на малых и
больших проектах без
залоченности данных

23.

Для чего еще понадобятся данные из МП?

24.

1) Прозрачное качество тестирования. Больше не будет
эфимерности.
2) Мониторинг качества тестирования на всех текущих и будущих
проектах Октабанка.
3)Улучшенная тестовая модель позволит делать упор на хард скилах
тестировщика.
4)Освобождение ресурсов тестировщиков под кросс тестирование
между проектами.
5)Прогнозирование затрат на покрытие ручными и автотестами.
6) Уменьшения кол-ва созвонов, увеличении времени на
развитие проекта командами разработки.

25.

Мотивация\Цель
«Единственное чем мы руководствуемся - это
улучшение распределение ресурсов
тестирования на действительно важные кейсы
в прозрачном режиме».

26.

Рост покрытия
Проекты в локации Казань
позитивно восприняли такой
подход. Перераспределили
свои ориентиры в
тестировании.
T-Shape
При таком подходе в (рамках
одного из направлений WEB,
mobile..) можно распределять
экспертизу между проектами.
Сотрудникам стали понятнее ТК
другого проекта.
Экономия
Работу лида смогли
выполнять сотрудники
уровня middle и junior а так
же сократить время
погружения в проект.

27.

60
50
40
Enterprise
30
Middle project
Mini project
20
10
0
Покрытие

28.

“
Я не прошу увеличить
финансирование тестирования на
проектах. Я лишь говорю, что нужно
перераспределить наши усилия и
работать адресно по тем данным
которые у нас есть.
”

29.

“
За короткий срок мы можем
закрыть все критически важные
Use Case проверками и улучшить
тестирование в банке
”

30.

“
Мы уменьшим административную
нагрузку как на первом этапе, так и
сможем генерить задачи
тестирования в автоматическом
режиме в Jira в будущем.
”

31.

“
Мы дадим фактическое покрытие
авто тестами текущего
функционала и упростим
передачу ТК на автоматизацию
”

32.

“
Мы сделаем релизы
качественнее и будем закрывать
позитивные сценарии в первую
очередь при старте регресса
”

33.

Спасибо за внимание
Проект безусловно сложный и требует более
детального вашего изучения следующих регламентов
работы:
1.Преимущества использования матрицы покрытия
функционала
2.Построение матрицы покрытия функционала в
команде
3.Практические этапы перехода команды на пути к
проценту покрытия.
4.Регламент работы с матрицей покрытия
функционала.
5.Как работать с построенной матрицей
6.Определение критичности пользовательской истории
для бизнеса.
7.Инструкция по работе с матрицей покрытия.
8.Флоу работы команды с реализованной матрицей
тестового покрытия
9. Передача тест-кейсов, не относящихся к зоне
ответственности команды
Photo by Dave Hoefler on Unsplash