Юзабилити тестирование (лекция № 5)

1.

Контроль качества ПО
Лекция №5. Юзабилити
тестирование

2.

План лекции
1.
2.
3.
4.
5.
Что такое юзабилити ➜
Зачем его тестировать ➜
Что именно тестировать ➜
Как это тестировать ➜
Как развиваться в юзабилити
тестировании ➜
Решаем истинные задачи
2

3.

1. Что такое юзабилити
Юзабилити (ISO 9241-11) - степень, с
которой продукт может быть использован
определёнными пользователями при
определённом контексте использования
для достижения определённых целей с
должной эффективностью,
продуктивностью и удовлетворенностью
Решаем истинные задачи
3

4.

1. Что такое юзабилити
Критерии юзабилити (ISO 9241-11)
● Эффективность
○ Решаемые операции
○ Процент ошибок
● Продуктивность
○ Скорость использования
○ Скорость обучения
● Удовлетворенность
Решаем истинные задачи
4

5.

2. Зачем тестировать юзабилити
Тестируем, чтобы улучшить юзабилити, а улучшить, чтобы:
● увеличить производительность;
● уменьшить затраты на обслуживание;
● уменьшить время и затраты на
обучение;
● уменьшить время и затраты на
развитие;
● увеличить удовлетворенность клиента:
● увеличить продажи и доходы.
Решаем истинные задачи
5

6.

3. Что именно тестировать
Юзабилити-тестирование — это
набор методов и инструментов,
позволяющих измерить характеристики
взаимодействия пользователя с продуктом
для оценки уровня реализации
пользовательских свойств (юзабилити)
продукта
Решаем истинные задачи
6

7.

3. Что именно тестировать
1. Наименования
2. Архитектура
3. Первое знакомство и доступность
4. Эффективность
Решаем истинные задачи
7

8.

4. Как тестировать юзабилити
8
Прежде чем приступить к тестированию, необходимо
проанализировать продукт и его пользователей
Анализ продукта:
-
-
Что он делает?
делают?
SMS-ки
- Набор сообщений
- Сохранение шаблонов
- Удаление входящих
Календарь
- ...
Решаем истинные задачи
Что с ним
-
Звонят (99%)
Хвастаются (98%)
Заводят будильник (65%)
Отправляют SMS (58%)
Играют (28%)
Проверяют почту (5%)
Смотрят погоду (0,6%)

9.

4. Как тестировать юзабилити
Прежде чем приступить к тестированию, необходимо
проанализировать продукт и его пользователей
Анализ пользователей:
Клиенты и пользователи
Знания, квалификация
Ментальные модели
Что используют
Как используют
Решаем истинные задачи
9

10.

4. Как тестировать юзабилити
Критерии юзабилити (ISO 9241-11)
● Эффективность
○ Решаемые операции
○ Процент ошибок
● Продуктивность
○ Скорость использования
○ Скорость обучения
● Удовлетворенность
Решаем истинные задачи
10

11.

4. Как тестировать юзабилити
Методы
● Числовые оценки (скорости, ошибок,
шагов, элементов и т.д.)
● Соответствие критериям (определение
соответствия принципам юзабилити)
● Пользовательское тестирование (сбор
метрик, тестовые задания, анкеты)
Решаем истинные задачи
11

12.

4. Как тестировать юзабилити
Числовые оценки
GOMS - goals, objects, methods, and selection
K = 0.2
P = 1.1
H = 0.4
M = 1.35
R=?
Нажатие клавиши (включая ее поиск)
Перемещение курсора на нужную позицию
Смена способа ввода (мышь, клавиатура)
Ментальная подготовка (поиск, понимание)
Отклик системы
Решаем истинные задачи
12

13.

4. Как тестировать юзабилити
13
Задание: заказать билет куда угодно на 15 апреля туда и на 1 мая обратно.
расчет
реальное время
Без календаря
M KK KK KKKK M H P K H M KK KK KKKK
9,5 сек
СРешаем
календарем
PK M PK M PK
истинныеMзадачи
9,35 cек

14.

4. Как тестировать юзабилити
Числовые оценки
Закон Фиттса
Время достижения цели прямо пропорционально дистанции до
цели и обратно пропорционально размеру цели
T — среднее время, затрачиваемое на совершение действия
a — среднее время запуска/остановки движения
b — величина, зависящая от типичной скорости движения
D — дистанция от точки старта до центра цели
W — ширина цели, измеренная вдоль оси движения
Демонстрация http://fww.few.vu.nl/hci/interactive/fitts/
Решаем истинные задачи
14

15.

4. Как тестировать юзабилити
Числовые оценки
Закон Хика
Логарифмическая зависимость между временем реакции и количеством
объектов, из которых нужно выбрать (чем меньше элементов в меню,
тем меньше времени занимает выбор одного из них)
T = a + b * log2(n + 1)
T — это общее время реакции,
a и b — константы, которые описывают индивидуальные
особенности восприятия, такие как задержка перед
выполнением задания и индивидуальный коэффициент скорости
принятия решения,
n — количество равнозначных альтернативных вариантов, из
которых нужно выбрать.
Решаем истинные задачи
15

16.

4. Как тестировать юзабилити
Соответствие критериям (метрики, принципы, чек-листы,
гайдлайны)
Элементы выбора
● Чек-бокс | Галочка | Флажок
○ Булевые значения (Да/Нет)
● Radio button | Радио-кнопка | Переключатель
○ Выбор из 3+ элементов
○ Выбор из 2-х, если они не булевые, как в чек-боксе
● Выпадающий список
○ Выбор одного из 5+
○ Возможен мультивыбор
○ Используется вместо радио-кнопок, чтобы не
нагромождать интерфейс
Решаем истинные задачи
16

17.

4. Как тестировать юзабилити
Соответствие критериям (метрики, принципы, чек-листы,
гайдлайны)
Типичные ошибки в элементах выбора
● Слишком много элементов
в radio-button
● Чек-боксы с непонятным
вторым значением
● Выпадающие списки,
когда мало значений
● Нет поиска по выпадающему
списку, когда много
значений
Решаем истинные задачи
17

18.

4. Как тестировать юзабилити
Соответствие критериям (метрики, принципы, чек-листы,
гайдлайны)
Меню
● Главное меню - выбор операции, выбор нового окна
● Контекстное меню - выбор операции над конкретным
элементом, набор операций зависит от типа/состояния элемента
Ошибки:
● Слишком много элементов
● Слишком большой уровень вложенности
● Для регулярно используемого ПО –
невозможность настройки меню под себя
Решаем истинные задачи
18

19.

4. Как тестировать юзабилити
Соответствие критериям (метрики, принципы, чек-листы,
гайдлайны)
Ввод данных
● Строковые/числовые поля - разрешенные символы, подсказки
по размеру, типу данных, выделение обязательных полей
● Текстовые поля - регулировка размера поля, информация об
ограничениях, о возможных способах форматирования
Ошибки:
● Непонятно, что можно и нельзя вводить
● Неудобный размер/шрифт,
и нельзя поменять
● Нет проверок/ограничений
Решаем истинные задачи
19

20.

4. Как тестировать юзабилити
Соответствие критериям (метрики, принципы, чек-листы,
гайдлайны)
Гайдлайны
Гайдлайн – это документ, содержащий свод основных принципов и
правил рекомендуемого использования визуальных и иных
идентификаторов бренда в различных коммуникациях и на разных
носителях
Google - https://material.io/design/
Apple - https://developer.apple.com/design/human-interface-guidelines/
Windows - https://docs.microsoft.com/ru-ru/windows/apps/desktop/
IBM Carbon Design System - https://www.carbondesignsystem.com/
Решаем истинные задачи
20

21.

4. Как тестировать юзабилити
Пользовательское тестирование (сбор метрик, тестовые задания,
анкеты)
Когда?
-
промежуточное тестирование (решение обрело
достаточную детализацию)
полное тестирование (тестирование готового продукта)
Какой формат?
-
-
неформальные сеансы обратной связи (поясняются идеи и
выслушиваются соображения пользователя)
более строгие методы юзабилити-тестирования
(пользователи решают определенный набор задач)
Решаем истинные задачи
21

22.

4. Как тестировать юзабилити
Этапы пользовательского тестирования:
1. Определение проблемы - что с продуктом не так?
2. Формирование гипотез - почему у пользователей
возникают проблемы?
3. Определение метрик - что будет измеряться?
4. Определение персонажей и сценариев - кто и как
взаимодействует с интерфейсом?
5. Отбор сценариев - по частоте использования, по критичности
функционала, по регулярности ошибок и жалоб, по субъективным
ощущениям в необходимости изменений
6. Подбор респондентов
Решаем истинные задачи
22

23.

4. Как тестировать юзабилити
Этапы пользовательского тестирования:
7. Заполнение анкеты - точно ли подходят респонденты?
8. Инструктирование
9. Тестирование
10.Заполнение анкеты после тестирования (либо прямо
во время тестирования)
11.Анализ полученных данных
12.Определение проблем и выбор решений
Решаем истинные задачи
23

24.

4. Как тестировать юзабилити
24
Анкетирование
По результатам
Действие
Результат
Зарегистрироваться на сайте
https://www.edx.org/
Все ок, воспользовалась входом с
помощью Google аккаунта
Найти на сайте какой-нибудь курс по
Software Testing
Пошла в раздел Computer science,
увидела кучу курсов по языкам
программирования, ушла назад.
Воспользовалась поиском по слову
“testing”, в результатах нашла Software
Testing Management
Записаться на понравившийся курс
Ок, нажала большую зеленую кнопку
Enroll
Решаем истинные задачи

25.

4. Как тестировать юзабилити
25
Анкетирование
По словам
Устаревший – Эффективный – Нечеткий – Неудобный – Замусоренный – Тусклый –
Яркий – Чистый – Прямой – Ясный – Непоследовательный – Неуправляемый –
Привлекательный – Стандартный – Управляемый – Хороший – Интуитивный –
Веселый – Любительский – Неэффективный – Опасный – Скучный – Радостный –
Безопасный – Жесткий – Раздражающий – Треугольный – Неприятный –
Комфортабельный – Холодный – Умный – Бесполезный – Халтурный – Теплый –
Светлый – Последовательный – Загадочный – Качественный – Интересный –
Ненадежный – Гибкий – Красивый – Некрасивый – Непривлекательный –
Полезный – Глупый – Запутанный – Удобный – Понятный – Непредсказуемый –
Четкий – Тяжелый – Современный – Легкий – Дружественный – Нестандартный –
Плохой – Надежный – Сложный – Простой – Темный – Профессиональный –
Медленный – Круглый – Печальный – Недружественный – Предсказуемый –
Непонятный – Быстрый – Головоломный – Грустный – Приятный
Решаем истинные задачи

26.

4. Как тестировать юзабилити
26
Анкетирование
По оценкам
Критерий
Во время выполнения заданий я ошибался
Система работает достаточно быстро
Мне нравится внешний вид интерфейса
Я чувствую, что если я лучше изучу систему, я смогу
делать в ней вещи, о которых сейчас даже и не
подозреваю
Систему можно легко настроить под мои нужды
Во время выполнения заданий я чувствовал себя
вполне уверенно
В любой момент времени я понимал, что должен
сделать дальше
Решаем истинные задачи
Согласен
Не согласен
Затрудняюсь
ответить

27.

4. Как тестировать юзабилити
Инструменты для проведения пользовательского тестирования
● Ведение проекта - Trello
● Запись экрана - OBS Studio (или любой другой
аналогичный продукт)
● Анкетирование + Задания для тестирования TypeForm, Google Формы
● Удаленное управление экраном - TeamViewer,
Google Remote Desktop
Решаем истинные задачи
27

28.

5. Как развиваться в юзабилити тестировании
Что развивать?
● Техники в юзабилити
○ Применение гайдлайнов и чек-листов
○ Использование числовых методов
○ Анализ продуктов через принципы юзабилити
Решаем истинные задачи
28

29.

5. Как развиваться в юзабилити тестировании
Что развивать?
● Предметная область
○ Игры в пользователей
○ Работа в пользователей
○ Душевные беседы
○ Участие во внедрении
○ Помощь техподдержке
Решаем истинные задачи
29

30.

5. Как развиваться в юзабилити тестировании
Что развивать?
● UT - сфера
○ Книжки и блоги
○ Конкуренты
○ Эталонные продукты
○ Привычные решения
○ Ментальные модели
Решаем истинные задачи
30

31.

5. Как развиваться в юзабилити тестировании
Что развивать?
● Чувство прекрасного
○ Выставки и галереи
○ Художественные издания
○ Теория искусств
○ Архитектура
○ Анализ интерфейсов
Решаем истинные задачи
31

32.

Материалы для самостоятельного изучения
32
Книги
Стив Круг “Не заставляйте меня думать!”
Сергей Сергеев “Методы тестирования и оптимизации интерфейсов
информационных систем”
Сайты
https://www.hotjar.com/usability-testing/ - супербазовый гайд по юзабилити
тестированию
https://texterra.ru/blog/chek-list-po-yuzabiliti-200-punktov-na-proverku.html - чек-лист
по юзабилити сайта
Курсы
https://software-testing.ru/edu/3-online/197-usability - тестирование юзабилити
от software-testing.ru
https://www.udemy.com/course/usability-testing/ - Usability Testing Boot Camp
Решаем истинные задачи