Похожие презентации:
Тестирование ПО. Тестовая комбинаторика
1. План урока
1.Что такое тестовая комбинаторика
2.
Как создать набор для тестирования
3.
Техники комбинаторного тестирования
2.
Тест-дизайн – это этап тестирования ПО, на котором проектируются и создаются тестовыеслучаи (тест-кейсы) в соответствии с определёнными ранее критериями качества и целями
тестирования.
Создать
тест-кейсы,
обнаруживают самые
ошибки.
которые
критичные
Уменьшить число тест-кейсов, при
сохранении
полноты
тестового
покрытия.
3. Определения
Набор тест-кейсов (test case suite, test suite, test set) —совокупность тест-кейсов, выбранных с некоторой общей целью
или по некоторому общему признаку.
Иногда в такой совокупности результаты завершения одного тесткейса становятся входным состоянием приложения для
следующего тест-кейса.
Набор тестов (test suite) - комплект тестовых наборов для
исследуемого компонента или системы, в котором обычно
постусловие одного теста используется в качестве предусловия
для последующего.
4. Определения
Тестовый набор (комбинация) - сочетание значений дляпроверки атрибутов тестируемой функции.
5.
6. Тестовый набор
1.Определить перечень параметров
2.
Выписать
все
значения
для
каждого
параметра
3.
Составить таблицу с сочетанием всех
значений параметров
7. Тестовый набор
№Фамилия
Имя
Отчество
1
Иванов
Иван
Иванович
2
123456
1234
12345678
3
123
123
123
4
<пусто>
<пусто>
<пусто>
5
!;%:?*
!(*?
(*?:%;№»
8. Тестовый набор
№Фамилия
Имя
Отчество
1
Иванов
Иван
Иванович
2
Иванов
1234
<пусто>
3
!;%:?*
<пусто>
12345678
4
<пусто>
Иван
(*?:%;№»
5
Иванов
Иван
123
…
….
….
….
9. Определения
Комбинаторика - это подсчёт различных комбинаций, которыеможно составить из некоторого множества объектов или данных
Комбинаторное тестирование (combinatorial testing) – способ
выбрать подходящий набор комбинаций тестовых данных для
достижения установленного уровня тестового покрытия в случае,
когда проверка всех возможных наборов значений тестовых
данных невозможна за отведённое время
10. Комбинаторные техники
Минимальные проверкиПеребор значений
Атомарные проверки
Попарное тестирование
11.
12. Минимальные проверки
№Инструмент
Толщина
Цвет 1
Цвет 2
1
Карандаш
1 пкс
Чёрный
Белый
2
Карандаш
2 пкс
Белый
Желтый
3
Кисть
1 пкс
Чёрный
Красный
4
Кисть
3 пкс
Белый
Голубой
…
…
…
…
№
…
Инструмент
Толщина
Цвет 1
Цвет 2
1
Карандаш
3 пкс
Черный
Голубой
2
Кисть
5 пкс
Красный
Желтый
13. Перебор значений
№Инструмент
Толщина
Цвет 1
Цвет 2
1
Карандаш
1 пкс
Чёрный
Голубой
2
Карандаш
2 пкс
Чёрный
Голубой
3
Карандаш
3 пкс
Чёрный
Голубой
4
Карандаш
4 пкс
Чёрный
Голубой
…
…
…
…
…
…
…
…
…
…
14. Атомарные проверки
№Инструмент
Толщина
Цвет 1
Цвет 2
1
Карандаш
1 пкс
Чёрный
Голубой
2
Карандаш
2 пкс
Чёрный
Голубой
3
Карандаш
3 пкс
Чёрный
Голубой
4
Карандаш
4 пкс
Чёрный
Голубой
5
Карандаш
1 пкс
Белый
Голубой
6
Карандаш
1 пкс
Синий
Голубой
7
Карандаш
1 пкс
Красный
Голубой
8
Карандаш
1 пкс
Зелёный
Голубой
…
…
…
…
…
15. Попарное тестирование
Попарное тестирование (pairwise testing) — техника формирования наборов тестовых данных,при которой каждое тестируемое значение каждого из проверяемых параметров хотя бы раз
сочетается с каждым из тестируемых значений всех остальных проверяемых параметров.
Попарное тестирование (pairwise testing) - разработка тестов методом черного ящика, в
которой тестовые сценарии разрабатываются таким образом, чтобы выполнить все
возможные отдельные комбинации каждой пары входных параметров.
16.
Суть проблемы:1.Если мы попытаемся проверить все сочетания всех значений всех параметров для сложного
случая тестирования, мы получим количество тест-кейсов, превышающее все разумные
пределы.
2. Большинство дефектов возникает при комбинации 2-х параметров.
17. Методы попарного тестирования
на основе ортогональных массивовна основе латинских квадратов
IPO (in parameter order) метод
на основе генетических алгоритмов
на основе рекурсивных алгоритмов
18.
19. Полный перебор
1 чек-бокс = 2 значения ON|OFF2 чек-бокса = 4
3 чек-бокса = 8
4 чек-бокса = 16
5 чек-боксов = 32
10 чек-боксов = 1024
15 чек-боксов = 32 768
20 чек-боксов = 1 048 576
20.
21. Практика: PICT
(Pairwise Independent Combinatorial Testing)Скачать PICT:
http://download.microsoft.com/download/f/5/5/f55484df-8494-48fa-8dbd-8c6f76cc014b/pict33.msi
Альтернатива:
PICT online https://pairwise.yuuniworks.com/
PairwiseTool https://pairwise.teremokgames.com/
22.
Построение тестов с выводом в файл Excel:pict model.txt > result.xls,
где model.txt – имя входного текстового файла (может быть другим),
result.xls – имя выходного Excel-файла (может быть другим).
Вывод в текстовый файл:
pict model.txt > result.txt
23. Синтаксис
Параметр 1: значение 1, значение 2, значение 3Параметр 2: значение 1, значение 2, значение 3
Параметр 3: значение 1, значение 2, значение 3
….
24. Функции и опции PICT
Изменить порядок группировки:опция /o:N, где
N - порядок (1, 2, 3...),
Nmax = количество параметров.
Отметить негативные значения:
поставить «~» перед значением.
Изменить «~» на другой символ можно с помощью опции \n:
25. Функции и опции PICT
Объединить параметры в подгруппы:{ Request, Size, Color } @ 2
{ Usage rights, Type, Time } @ 3
26. Функции и опции PICT
Задать ограничения: Условные ограниченияType: Primary, Logical, Single, Span, Stripe, Mirror, RAID-5
Size: 10, 100, 500, 1000, 5000, 10000, 40000
Format method: quick, slow
File system: FAT, FAT32, NTFS
Cluster size: 512, 1024, 2048, 4096, 8192, 16384, 32768, 65536
Compression: on, off
IF [File system] = "FAT" THEN [Size] <= 4096;
IF [File system] = "FAT32" THEN [Size] <= 32000;
27. Функции и опции PICT
Задать ограничения: Безусловные ограниченияOS_1: Win2000, WinXP
SKU_1: Professional, Server, Datacenter, WinPowered
LANG_1: EN, DE
OS_2: Win2000, WinXP
SKU_2: Professional, Server, Datacenter
LANG_2: EN, DE
[OS_1] <> [OS_2] and [SKU_1] <> [SKU_2] and [LANG_1] <> [LANG_2];
28. Важно при применении Pairwise
Хорошо масштабируется при увеличении параметровПлохо масштабируется при увеличении количества значений
29. Домашнее задание
1.Создайте тестовые наборы данных с использованием техники попарного
тестирования:
a. Пол (мужской/женский)
b. Возраст (моложе 25 лет, от 25 до 65 лет, старше 65 лет)
c. Наличие/отсутствие детей
2.
*Основываясь на интеллект-карте MS Paint из урока 1, выбрать домен для
тестирования. Для выбранного домена применить одну из техник тестовой комбинаторики,
рассматриваемых в данном уроке.
Например, берём домен «Редактирование. Копирование», техника «Перебор значений».