Методики тестирования

1.

1. Тестирование юзабилити: атрибуты,
ограничения и компоненты
2. Проведение тестирования
3. Методики тестирования

2.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Цели исследования
Что вам необходимо узнать об
исследуемом продукте?
Начните с общей цели вашего
исследования; возможно, вас интересует,
почему после выхода последней версии
продукта участились звонки в службу
техподдержки. Или ваше положение на
рынке пошатнулось и вы желаете знать, не
вызвано ли это тем, что продукция конкурента
более удобна в использовании.

3.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Разбейте цель эксперимента на несколько чётких задач.
«Удобен ли мой продукт?» – хороший пример плохой
постановки задачи. Задачи должны быть поставлены таким
образом, чтобы по результатам тестирования можно было
легко определить решение каждой из них, они должны
касаться того, что можно непосредственно заложить в
тестирования, например: Является ли задержка при
загрузке Java-апплета причиной ухода с сайта
посетителей? Насколько сложной для новичка является
процедура заполнения налоговых форм с помощью
данного продукта? Предоставляет ли онлайн-система
подсказки достаточное количество информации о
налоговом кодексе? Эта информация изложена
простым, доступным для понимания языком, а не на
юридическом жаргоне?

4.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Проектирование исследования
Характеризуйте пользователей, которые станут участниками
тестирования.
Это необходимо, потому что когда вы займётесь непосредственно
подбором участников, очень важно будет знать, кто именно вам
нужен: новички, эксперты или опытные пользователи, мужчины,
женщины, или же вы нуждаетесь в представителях обоих полов;
также важен возраст пользователей. Кто является целевой группой
пользователей вашего продукта? Если вы тестируете дисплеи
реактивных истребителей, вам ни к чему пропускать через ваши
тесты орды тинэйджеров. Если ваш продукт – автомат для продажи
газировки, в таком случае те же тинэйджеры придутся как нельзя
кстати. Выявление профиля пользователей вашего продукта важно
для проектирования эксперимента и непосредственно для
подбора его участников.

5.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Определите структуру вашего эксперимента
Композиционное строение вашего тестирования
описывает, как вы будете проводить отдельные тесты, в
каком порядке они будут выстроены, чтобы исключить из
рассмотрения и дальнейшего анализа все переменные,
не представляющие интереса. Предположим, что вы
тестируете программный продукт, связанный с
налогообложением. Нужны ли вам пользователи, уже
использовавшие ваш продукт в работе и уже обладающие
некоторыми сведениями и навыками, касающимися
именно вашего продукта? Возможно, вы предпочтёте
разбить участников тестирования на две группы, разделив
их на новичков и пользователей, уже имеющих некоторый
опыт работы с продуктом.

6.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Определите задания, которые будут предложены
участникам тестирования во время проведения каждого
теста
Эти задания, несомненно, должны быть заимствованы и
основаны на тех задачах, которые пользователи решают с
помощью вашего продукта в процессе его нормального
использования. Укажите всё, что понадобится вам для того,
чтобы определить сценарий теста: состояние автомата,
машины или компьютера, экраны, документацию, другие
средства помощи и подсказки, которые должны
присутствовать. Также укажите, каким образом
определяется успешное завершение выполнения каждого
задания, – например, если пользователь успешно
сохранит отредактированный документ или выполнит
некоторую производственную операцию, достигнув
определённого законченного результата.

7.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Опишите инструментарий исследований
Инструментарий также может включать в себя устройства,
используемые в процессе проведения тестов, такие как
видеокамеры для записи поведения пользователей,
преобразователи развёртки для записи того, что
происходит на экранах мониторов, диктофоны и
записывающая аудиоаппаратура для протоколирования
вербального общения и записи вербальных протоколов,
односторонние зеркала, позволяющие наблюдателям и
экспериментатору оставаться невидимым для участников
тестирования и так далее. Вы можете собрать много
полезной информации, пользуясь простыми
любительскими видеокамерами или даже вообще без
видеозаписей.

8.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Характеризуйте требуемый персонал
Вам понадобится как минимум один
экспериментатор (ассистент), который будет
проводить тестирование, начиная от оглашения
его темы, объяснения плана тестирования и
заканчивая непосредственной работой с
участником тестирования над каждым заданием.
Для того, чтобы уменьшить нагрузку на
экспериментатора, связанную с фиксацией
получаемых данных (ведением журналов-логов),
вы можете включить в состав команды одного или
двух наблюдателей.

9.

1. Тестирование юзабилити:
атрибуты, ограничения и
компоненты
Подбор участников тестирования
Составьте список пользователей, из которого вы будете подбирать
участников для каждого теста
Подготовка необходимого инструментария
Инструментарий юзабилити-тестирования включает в себя
компьютер и установленное на нём программное обеспечение
для тестирования программного продукта, или машину, автомат
или его макет для тестирования оборудования.
Подготовка тестовой группы
Ваша тестовая группа – это группа пользователей, которые примут
участие в данном тесте. Сколько вам потребуется человек?
Наиболее распространённые руководства рекомендуют
привлекать в среднем 4-5 участников для того, чтобы обнаружить
большинство проблем, связанных с юзабилити. Якоб Нильсен и
Том Ландауэр утверждают, что тестирование пяти пользователей
позволяет обнаружить уже как минимум 85% проблем
интерфейса

10.

2. Проведение тестирования
Подготовка участника к тестированию
Большинство тестов требуют от
участников предварительного заключения
соглашения о неразглашении
информации и подтверждения их
согласия на произведение записей.

11.

Действия ассистента во
время тестирования
Попробуйте, сначала протестировать себя.
Оберегайте участников тестирования.
Сопереживайте участникам тестирования.
Постарайтесь увидеть и понять, какие мысли
возникают у них.
Не подсказывайте им, что делать.
Ваши инструкции должны быть простыми.
Уточняйте, уточняйте, уточняйте.
Не бойтесь импровизировать.
Не расстраивайтесь, если пользователь окажется
совсем неопытным или
полностью запутается.
Делайте записи после каждой сессии.

12.

Действия наблюдателя во
время тестирования
Попробуйте, сначала протестировать
себя.
Они понимают?
Могут ли они разобраться в структуре
программы?
Моменты просветления.
Моменты шока.
Новые идеи.
Восторг

13.

3. Методики тестирования
Выделяют следующие методики
тестирования:
Метод фокусных групп
Проверка посредством наблюдения за
пользователем
Мыслим вслух
Проверка качества восприятия
Измерение производительности
Карточная сортировка

14.

Метод фокусных групп
Метод фокусных групп заключается в опросе специально
отобранной группы пользователей. В исследование, которое
обычно продолжается около 2 часов, вовлекается от 6 до 9
пользователей. Основное достоинство фокусных групп состоит в
том, что они позволяют выявлять спонтанные реакции и идеи и
оценивать отношение к этим идеям группы в целом.
Результаты работы фокусной группы заносятся в специальный
протокол для дальнейшей обработки.
Метод фокусных групп подходит для того, чтобы быстро поучить
диапазон мнений и оценок пользователей по поводу тех или иных
вещей. Он очень полезен для определения, в самом общем
виде, потребностей и предпочтений вашей аудитории.
Однако метод фокусных групп не позволяет определить, как
работает ваша программа и самое главное как ее можно
улучшить.

15.

Проверка посредством
наблюдения за
пользователем
Один из самых простых видов тестирования. Пользователю
дается задание, он его выполняет, его действия
фиксируются для дальнейшего анализа на камеру, либо
какой-нибудь программой записи состояния экрана
(например, Lotus ScreenCam).
Метод исключительно полезен для выявления
неоднозначности элементов интерфейса. Поскольку
каждая неоднозначность приводит к пользовательской
ошибке, а каждая такая ошибка фиксируется,
обнаружить их при просмотре записанного материала
очень легко. В последствии можно посчитать количество
ошибок и сделать соответствующие выводы. Кроме того,
если замерять время выполнения задания
(секундомером), можно оценить производительность
работы пользователей.

16.

Мыслим вслух
Запись или протоколирование «мыслей
вслух» – очень распространённая методика,
применяемая при юзабилити-тестированиях.
В течение теста, пока участник выполняет то
или иное задание в рамках своего сценария,
экспериментатор просит участника
вербализовать его мысли, чувства и мнения,
возникающие в процессе взаимодействия с
продуктом. Комментарии записываются на
диктофон или камеру, а затем
анализируются.

17.

Мыслим вслух
Как производится протоколирование
В первую очередь необходимо предоставить участнику
сам тестируемый продукт (или прототип его
интерфейса) и сценарий – список заданий, которые
ему необходимо выполнить. Попросите участников в
процессе выполнения заданий подробно сообщать всё,
что возникает у них в голове, пока они работают с
интерфейсом продукта.
«Мысли вслух» позволяют вам понять, как пользователь
подходит к интерфейсу и какими соображениями он
руководствуется, используя этот интерфейс.
Когда стоит использовать данную методику
Используйте этот метод на любой стадии разработки.
«Мысли вслух» – недорогой путь получения хорошей
качественной ответной реакции в течение тестирования.

18.

Проверка качества
восприятия
Сама по себе методика проста. Пользователю даётся задание,
связанное с каким-либо отдельным диалоговым окном.
Пользователь его выполняет. Через несколько минут пользователя
просят нарисовать (пускай даже грубо и некрасиво) только что
виденное им окно. После чего рисунок сравнивается с
оригиналом.
Разумеется, пользователь запоминает только то, что ему кажется
актуальным в процессе работы с окном (плюс еще что-нибудь
за того, что ему показалось интересным, да и то не всегда). Это
один из тех редких случаев, когда срабатывает ограничение на
объем кратковременной памяти, так что количество
запомнившихся элементов управления не может быть выше
порога.
Пример проверки качества восприятия. Пользователь, которому
нужно сменить шрифт абзаца на Arial из всего диалогового
окна выбора шрифта в MS Word запоминает только часть
элементов управления. Разумеется, он помнит, что помимо них
были и другие, но точно вспомнить остальные элементы он, как
правило, не может.

19.

Измерение
производительности
Некоторые юзабилити-тестирования ориентированы на
получение чётких, количественных данных.
Часто в процессе проектирования продукта ориентируются на
достижение подобных целей. Цели в таком случае могут
формулироваться в виде условий, например: «пользователь
должен иметь возможность установить соединение с Интернет
без ошибок или по бесплатной линии» или «Основная задача
должна выполняться за время не превышающее часа 75
процентами пользователей». Эти условия устанавливаются на
базе изначального тестирования предыдущей версии или
продуктов-конкурентов.
Должна быть поставлена цель, определены задачи,
спроектированы тесты и непосредственно поставлен
эксперимент. При измерениях производительности
необходимо учитывать следующие моменты:

20.

Измерение
производительности
Критерий выполнения задачи должен
быть количественно определён
Структура эксперимента
действительно важна
Данные не сообщают всех
подробностей
Когда стоит использовать данную
методику

21.

Карточная сортировка
Карточная сортировка — это классификационный
метод, при котором пользователи сортируют
различные элементы разрабатываемого ПП по
нескольким категориям.
Для проведения карточной сортировки создается
список параметров, которые предполагается
подвергнуть классификации, после чего каждый из
указанных параметров выписывается на отдельной
карточке. Карточки предъявляются пользователям,
которых инструктируют сгруппировать наиболее
логичным, по их мнению, образом.
Полученную в результате карточной сортировки
информацию используют для организации
пользовательского интерфейса.