Регрессионное тестирование. Контроль качества ПО. Лекция №4

1.

Контроль качества ПО
Лекция №4. Регрессионное
тестирование

2.

План занятия
1. Что такое регрессионное тестирование?
2. Виды регрессионного тестирования.
3. Что такое план тестирования?
4. Виды тест-планов.
5. Шаблоны тест-планов, их визуальное представление.
6. Этапы регрессионного тестирования.
7. Регресс-лист и его основные параметры.
8. Преимущества и недостатки.
9. Эффект пестицида.
10.Исследовательские туры.
Решаем истинные задачи
2

3.

Что такое регрессионное тестирование?
3
Регрессионное тестирование (regression testing) — это вид тестирования, который
направлен на проверку изменений, сделанных в приложении или окружающей
среде, для подтверждения того факта, что существующая ранее рабочая
функциональность так и осталась рабочей.
Глоссарий ISTQB: Регрессионное тестирование — тестирование уже
протестированной программы, проводящееся после модификации для
уверенности в том, что процесс модификации не внёс или не активизировал
ошибки в областях, не подвергавшихся изменениям.
Решаем истинные задачи

4.

Виды регрессионного тестирования
4
Виды
регрессионного
тестирования
Регрессия багов (bug
regression)
Решаем истинные задачи
Регрессия старых
багов (old bugs
regression)
Регрессия
побочного эффекта
(side effect
regression)

5.

Этапы регрессионного тестирования
Сбор
информации
Решаем истинные задачи
5

6.

Этапы регрессионного тестирования
Сбор
информации
Формирование
стратегии
Решаем истинные задачи
6

7.

Этапы регрессионного тестирования
Сбор
информации
Формирование
стратегии
Решаем истинные задачи
Сбор
информации о
конкретном
релизе
7

8.

Этапы регрессионного тестирования
Сбор
информации
Формирование
стратегии
Решаем истинные задачи
Сбор
информации о
конкретном
релизе
Составление
тест-плана
8

9.

Этапы регрессионного тестирования
Сбор
информации
Формирование
стратегии
Решаем истинные задачи
Сбор
информации о
конкретном
релизе
Составление
тест-плана
Выполнение
регрессионного
тестирования
9

10.

Этапы регрессионного тестирования
Сбор
информации
Формирование
стратегии
Решаем истинные задачи
Сбор
информации о
конкретном
релизе
Составление
тест-плана
Выполнение
регрессионного
тестирования
10
Работа над
ошибками

11.

Границы регрессионного тестирования 11
это разность между тестовым покрытием всего комплекта
тестов и тестовым покрытием, которое достигается с помощью
реально выполненных тестов для данного изменения или
данной версии.
Из книги Блэк Рекса — «Ключевые процессы тестирования»
Решаем истинные задачи

12.

План тестирования
12
Глоссарий ISTQB: План тестирования — документ,
описывающий
цели,
подходы,
ресурсы
и
график
запланированных тестовых активностей.
Решаем истинные задачи

13.

13
План тестирования
Глоссарий ISTQB: План тестирования — документ,
описывающий
цели,
подходы,
ресурсы
и
график
запланированных тестовых активностей.
Содержание тест-плана:
Что надо
тестировать?
Что будем
тестировать?
Решаем истинные задачи
Как будем
тестировать?
Когда будем
тестировать?
Критерии
начала
тестирования
Критерии
окончания
тестирования

14.

Виды тест-планов
Главный план
тестирования
(master test plan)
Тест-план (test plan)
• охватывает несколько
уровней тестирования
• детальный план
тестирования
План приёмочных
• набор действий для
испытаний (product приёмочных испытаний
acceptance plan)
Решаем истинные задачи
14

15.

Шаблоны тест планов
Word документ
Решаем истинные задачи
Дашборд (dashboard)
15
Майнд-карты (mind map)

16.

Шаблоны тест планов
Табличное представление
Решаем истинные задачи
Trello board
16

17.

Регресс-лист
Регрессионный лист — список всех
возможных проверок функционала с
разделением на уровни:
1. Smoke
—
проверка основных
функций модуля.
2. MAT (minimal acceptance test) —
проверка всех
функций
на
положительных (с точки зрения
форматов
и
бизнес-логики)
функциях.
3. AT (acceptance test) — проверка
всех функций модуля на всех типах
значений, то есть полная проверка
приложения.
Решаем истинные задачи
17

18.

Преимущества и недостатки
Преимущества РТ
Недостатки РТ
сокращение количества дефектов в
системе к моменту релиза
занимает много времени
исключение деградации качества
системы при росте функциональности
трудозатратно
уменьшение вероятности
критических ошибок при
эксплуатации
скучно
готовый список проверок
неадаптивность к особенностям
релиза
легко оценивать и планировать
трудозатраты
эффект пестицида
Решаем истинные задачи
18

19.

Эффект пестицида
19
• Иммунитет
• Пропуск ошибок годами
• Протоптанная дорога
Решаем истинные задачи

20.

Исследовательское тестирование
20
По ISTQB исследовательское тестирование – это неформальный метод
проектирования тестов, при котором тестировщик активно
контролирует проектирование тестов в то время, как эти тесты
выполняются, и использует полученную во время тестирования
информацию для проектирования новых и улучшенных тестов.
Когда следует применять исследовательское тестирование?
1. вам нужно обеспечить быструю обратную связь о новом продукте
или фиче
2. нужно быстро изучить продукт
3. вы уже провели скриптовое тестирование и хотите разнообразить
своё тестирование
4. вам нужно найти самый важный баг в кратчайшие сроки
5. вы хотите проверить работу другого тестировщика
6. вам нужно обнаружить и локализовать дефект
7. вам нужно изучить состояние конкретного риска для принятия
решения о необходимости покрытия этой области скриптовыми
тестами
Решаем истинные задачи

21.

Исследовательские туры
21
Исследовательский тур – план тестирования, который отражает
основные цели и задачи, на которых будет сконцентрировано
внимание тестировщика во время сессии исследовательского
тестирования.
Туристическая метафора в тестировании – это районы:
1. Бизнес-центр
2. Исторический район
3. Район развлечений
4. Туристические районы
5. Район отелей
6. Неблагополучный район
Решаем истинные задачи

22.

Исследовательские туры
Матрица по турам и типам багов, которые они находят
Решаем истинные задачи
22

23.

Исследовательские туры.
The Metro Tour
23
Цель тура: представить, будто спустились в метро. Начать
включать-выключать авиарежим, wi-fi, сотовую связь и
службы геолокации. И внимательно смотреть, как будет
реагировать на это приложение.
Решаем истинные задачи

24.

Исследовательские туры.
The Metro Tour
Решаем истинные задачи
24

25.

Исследовательские туры.
The Metro Tour
Решаем истинные задачи
25

26.

Исследовательские туры.
The Saboteur Tour
Решаем истинные задачи
26

27.

Исследовательские туры.
The Saboteur Tour
Решаем истинные задачи
27

28.

Исследовательские туры.
The Saboteur Tour
Решаем истинные задачи
28

29.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
29

30.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
30

31.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
31

32.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
32

33.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
33

34.

Исследовательские туры.
The Couch Potato Tour
Решаем истинные задачи
34