Роль ручного функционального тестирования в проектах НТ

1.

Николай Корнетов,
инженер-тестировщик
ООО «Аплана»
www.aplana.r
u
Роль ручного функционального
тестирования в проектах НТ

2. Что такое нагрузочное тестирование?

2
Что такое нагрузочное тестирование?
Нагрузочное тестирование (НТ) –
тестирование ПО при помощи
специализированных инструментов,
имитирующее работу определенного
количества пользователей в системе,
соответственно интенсивности, которая
есть в данный момент на проде.
Виды нагрузочного
тестирования
Тестирование
производительности
Поиск максимума
(Stress Testing)
Количество
вируальных юзеров в
скриптах равно проду
Скрипты нагружаются
количеством юзеров
в 200, 300 и больше %
от нормы
Тест на объем
(Volume Testing)
Количество юзеров
остается равным
проду, но объем баз
данных
увеличивается

3. «Зачем нам ручник?»

3
«Зачем нам ручник?»
Основные задачи функционального тестировщика в НТ проекте:
Анализ документации по функционалу системы
Общение с аналитиками для определения особенностей функционала
для нужд нагрузочного тестирования
Написание тест-кейсов, подходящих
для скриптования нагрузочниками.
«Разблокировка» кейсов – проверка
их на функциональные дефекты, общение
с разработчиками
Передача готовых и проверенных тесткейсов нагрузочникам
«Функциональный тестировщик на НТ
проекте», архивная фотография

4. Взаимодействие функционального тестировщика с заказчиком и командой

4
Взаимодействие функционального
тестировщика с заказчиком и командой
ЗАКАЗЧИК
• Документация
• Интенсивность
операций
функциональный
• Дефекты по
результатам
тестов
тестировщик
• Тест-кейсы
• Разблокированный
новый функционал
Результаты
нагрузочных
тестов
НАГРУЗОЧНЫЕ ТЕСТИРОВЩИКИ

5. Тест кейс для НТ, особенности

5
Тест кейс для НТ, особенности
Кейсы,
описывающие
основные
бизнеспроцессы
Ручной
тестировщик
на НТ проекте
100% охват
функционала
тестами
Кейсы для НТ пишутся без
задачи как можно большего
охвата функционала; задача НТкейса – воспроизведение
стандартных шагов выполнения
процесса, как это обычно
происходит на проде.
При написании кейсов действует
общее правило «один процесс –
один кейс».
Чем больше интенсивность
операции, тем она приоритетнее
в тестировании (важно при
разблокировке)
Кейсы по возможности должны
быть удобными для
скриптования (т.е. необходимо
по возможности избегать
задействования сторонних
инструментов, «костылей»,
перелогинивания и т.д.)

6. Тест кейс для НТ, структура

6
Тест кейс для НТ, структура
Функциональное тестирование
Нагрузочное тестирование

7. Типы данных, которые мы получаем в результате выполнения нагрузочных тестов

7
Типы данных, которые мы получаем в
результате выполнения нагрузочных тестов
Отчет по скриптам
• Количественные
показатели
удачно/неудачно
выполненных
скриптов
• Длительность
выполнения
каждого из
скриптов.
• Длительность
выполнения
отдельных
транзакций
AWR - отчет
• SQL-запросы в
базу с
длительностями
и количеством
выполнений
ФТ проверки
• Длительность
транзакций из
функциональных
кейсов
• Неправильное
поведение
системы под
нагрузкой

8. Дефекты производительности

8
Дефекты производительности
ДЕФЕКТ ФУНКЦИОНАЛА
Строгость
Красота
Традиции
ДЕФЕКТ ПРОИЗВОДИТЕЛЬНОСТИ
Волюнтаризм
Хаос
Безответственность

9. Дефекты производительности

9
Дефекты производительности
Общие правила:
В общем случае серьезность дефекта зависит от продолжительности
выполнения транзакции
Правила по серьезности определяются заказчиком, а не документацией
или логикой
Есть исключения по определенным транзакциям, которые могут и
должны выполняться долго (о которых никогда не известно заранее)
Прежде чем заводить дефект нужно точно удостовериться, что
задержка не происходит по причине плохо записанного скрипта
Тестирование
производительности
• Дефекты по
транзакциям
Поиск максимума
• Дефекты по сбоям
тестового стенда
Тест на объем
• Дефекты по
долгим запросам в
базу

10. Подведем итоги

10
Подведем итоги
Функциональный тестировщик – ценный член команды на проекте НТ.
Главная задача функционального тестировщика в НТ – обеспечение
правильно написанными и рабочими кейсами команду НТ
Кейсы для НТ пишутся исходя из правила «один процесс – один кейс»,
описывающих процесс от начала до конца, без тупиковых веток
процесса и негативных проверок.
Важность нового функционала определяет его интенсивность (т.е.
сколько раз данный процесс проходится на проде в час). Чем выше
интенсивность, тем выше важность.
Серьезность дефектов производительности в большей мере зависит от
воли заказчика, чем от каких-то общих правил.