Тестовая документация и артефакты тестирования

1. Лекция 4 Тестовая документация и артефакты тестирования

1

2.

Виды тестовой документации:
Тестовая
документаци
я
Рабочая
документация
Acceptance
Sheet
Test Survey
Test Suite/
Test Set/ Test
Cases
Отчетность
Checklist
По качеству
По работам/
статусу/
бюджету
2

3.

Виды тестовой документации:
• Check List (Чек-лист)
Высокоуровневый список проверок, набор правил и критериев, по
которым проводится тестирование приложения.
Описывает основные проверки для типовой функциональности.
• Acceptance Sheet (AS)
Документ, который содержит подробный перечень всех
модулей и функций приложения, а также результаты всех
тестов данных функций. Как правило, содержит статистику
по наиболее важным показателям каждой сборки,
определяющим ее качество.
3

4.

Виды тестовой документации:
• Test Survey
Документ, который содержит подробный перечень всех
модулей и функций приложения, конкретные проверки для них, а
также результаты всех тестов. В некоторых случаях для
проверок может быть указан ожидаемый результат.
Как правило, содержит статистику по наиболее важным
показателям каждой сборки, определяющим ее качество.
• Test Case
Набор входных значений, предусловий выполнения, ожидаемых
результатов и постусловий выполнения, разработанный для
определенной цели или тестового условия, таких как
выполнение определенного пути программы или же для
проверки соответствия определенному требованию
4

5.

Виды тестовой документации:
Тип
документации
Что описываем
Когда используем
Пример
Checklist
Основные проверки
Для типовой
функциональности
Протестировать форму входа в
почту
Acceptance
Sheet
Части функциональности,
подлежащие проверке.
Небольшие, простые
по бизнес-логике
проекты
Часто выпоняемые
тесты (Smoke test)
Форма входа на сайт
Test Survey
Конкретные проверки в
рамках отдельных кусков
функциональности.
Может содержать
ожидаемый результат.
Средние или большие
проекты, с понятной
бизнес-логикой
Форма входа на сайт:
-Корректные данные
- Неверное имя пользователя
-Неверный пароль...
Test Cases
Пошаговое описание,
инструкции по
тестированию.
Всегда содержит
ожидаемый результат.
Большие и
долгосрочные
проекты, требующие
глубоких знаний в
предметной области
Форма входа на сайт:
1. Откройте форму входа
2. Введите имя пользователя
test1
3. Введите пароль test1
4. Нажмите кнопку «Войти»
Ожидаемый результат:
пользователь переходит на
домашнюю страницу
5

6.

Тестовая отчетность:
• Отчет о тестировании (Итоговый отчет о тестировании)
Документ, подводящий итог задачам и результатам
тестирования, также содержащий оценку соответствующих
объектов тестирования относительно критериев выхода.
6

7.

Тестовая отчетность:
Что входит в отчет?
-Общая информация: название проекта, номер сборки,
кто/где/когда тестировал
-Оценка качества (приложения, модуля и т.д.) –
субъективная и/или объективная
-Обоснование выставленного качества – аргументы
-Другие замечания и рекоммендации
7

8.

Виды оценки качества:
Субъективная тип оценки, при котором она выставляется на основании
субъективного мнения инженера по тестированию,
основываясь на количестве дефектов, их важности, удобство
пользования продуктом и т.д.
Объективная (“вычисляемая”) –
тип оценки, при котором используется математическая
формула, основанная на количестве дефектов, их важности и
размере проекта.
8

9.

Показатели качества:
Excellent - Существуют некоторые мелкие проблемы и/или
области для улучшения. Приложение работает в
соответствии с требованиями
High - В приложении существует некоторое количество мелких
и/или средних проблем. Приложение работает в соответствии
с требованиями. Дефекты существенно не влияют на работу
конечного пользователя.
Medium - В приложении существует большое количество
мелких и/или средних проблем либо серьезных проблем, которые
нарушают нормальную работу пользователя. Однако,
существуют способы как обойти эти проблемы (workaround).
9

10.

Показатели качества:
Low - В приложении существуют критические или серьезные
проблемы. Пользователь не может полноценно работать с
приложением. Однако, существуют способы как обойти эти
проблемы (workaround) и тестирование может быть
продолжено.
Unacceptable - Все приложение или его главные части
(компоненты, модули) не работают вообще. Приложение
невозможно тестировать. Существуют проблемы, которые
блокируют нормальную работу пользователя. Не существует
способа, позволяющего обойти эту проблему.
10

11.

Объективная оценка:
Для объективной оценки качества в компании был выработан
следующий подход - оценка вычисляется по формуле:
11

12.

Объективная оценка :
Q – оценка качества (принимает значения от 0 до 1; если Q=1, то в
приложении нет дефектов; чем ниже значение Q, тем больше
дефектов в приложении, соответственно ниже качество)
p – Размер проекта
w – Вес дефекта, он зависит от важности дефекта
C – Количество дефектов (для каждой из важностей)
12

13.

Объективная оценка :
Определение веса важности дефекта
Вес важности дефекта может быть определен следующими
выражениями (сравнению критичности дефектов с остальными)
W1=100*W5
W1=50*W4
W1=25*W3
W1=5*W2
W1=100
В результате:
W1=100; W2= 20; W3=4; W4= 2; W5=1.
13

14.

Объективная оценка :
Определение размера проекта
Выделяют три типа размера проекта:
1. Малые проекты.
2. Средние проекты.
3. Большие проекты.
Размер проекта зависит от его длительности.
Тип размера проекта
Длительность проекта
Размер
Малый проект
1-12 человек/месяц
50-200
Средний проект
1-3 человек/лет
200-500
Большой проект
Более 3 человек/лет
500-1000
14

15.

Объективная оценка :
Пример
Значение
Build1
Build2
Build3
Build4
Build5
Размер
проекта
200,00
300,00
500,00
500,00
500,00
Critical (100)
4
3
5
1
0
Major (20)
20
23
25
10
0
Average (4)
25
30
20
10
1
Minor (2)
30
25
35
20
5
Enhancemen
t(1)
10
5
10
10
2
∑WiCi
970
935
1155
390
16
Показатель
качества
0.01
0.044
0.099
0,46
0.96
15

16.

Благодарю за внимание!
16