Оценка удобства использования пользовательского интерфейса

1.

Оценка удобства использования
пользовательского интерфейса
1

2. План лекции

1. Удобство использования ПИ.
2. Параметры и методы измерения
удобства использования ПИ
2

3. Определения Usability

Возможность программного продукта быть понятным, обучаемым и
привлекательным для пользователей, при использовании его в
определенных условиях. [ISO / IEC 9126-1, 2000]
3

4. Определения Usability

Степень, в которой продукт может быть использован определенными
пользователями для достижения указанных целей с действенностью,
эффективностью и удовлетворенностью в указанном контексте
использования. [ISO9241-11, 1998]
Легкость, с которой пользователь может научиться управлять,
подготавливать данные для ввода и интерпретировать результаты
работы системы или компонента. [IEEE Std.610.12-1990]
4

5. Определения Usability

инженерная дисциплина, которая занимается разработкой
пользовательских интерфейсов, ориентированных на максимальное
психологическое и эстетическое удобство пользователей.
5

6. Определения Usability

отрасль эргономики, основная цель которой – повышение
эффективности взаимодействия между компьютерными системами и
пользователями путём создания компьютеров удобных и
чувствительных к требованиям пользователей.
6

7. Определения Usability

практическая деятельность удобство использования существует в
виде тестирования и экспертизы.
User еХperience (UX, опыт пользователя) - все аспекты опыта
пользователя при взаимодействии с продуктом, услугой, средой или
помещением, а также следствием внешнего вида, функциональности,
действий системы, взаимодействия с пользователем и помощи
интерактивной системы» [http://www.iso.org/iso. ISO 9241-210 ].
7

8. Оценка Usability

интуиция разработчиков и проектировщиков иногда может
подвести;
терминология разработчиков и проектировщиков не всегда
совпадает с терминологией, к которой привыкли пользователи;
все люди разные, поэтому в природе не существует
«среднестатистического» пользователя;
инструкции и руководящие принципы по разработке вопросов
удобства и простоты использования не полные;
информации, получаемой от пользователей по телефону или
электронной почте, не достаточно для проведения оценки
качества продукта;
затраченные на проведение тестирования время, деньги и
ресурсы всегда окупаются;
8

9. Оценка Usability

продукты, созданные по частям, часто бывают несовместимы на
системном уровне;
проблемы, выявленные на завершающих стадиях разработки,
сложнее и накладнее исправлять;
устранение ошибок во время проектирования позволит сократить
затраты на последующую поддержку программы;
оценка удобства и простоты использования может дать преимущества
перед конкурирующими продуктами.
9

10. Параметры измерения Usability

Производительность
Израсходованные ресурсы
Эффективность
Степень, с которой продукт
пользователю
достичь стоящей перед ним цели.
позволяет
Изучаемость
Определенный
уровень
прохождения тренинга.
Удовлетворенность
Восприятие,
ощущения
и
мнения
пользователей по поводу изучения и
использования данного продукта.
знаний
после
10

11. Эффективность (степень, с которой продукт позволяет пользователю достичь стоящей перед ним цели)

Задача
удобства
применения
После выполнения
пяти сценариев
задач 90%
пользователей
будут в состоянии
успешно выполнить
задачу
Критерий
Качество
работы
90%
Успешно
пользователей выполнить
задачу
Выполнят
задачу
Условия
После
выполнения 5
сценариев
задач
11

12. Производительность (израсходованные ресурсы)

Задача
удобства
применения
После выполнения
пяти
сценариев задач
75%
пользователей будут
в состоянии успешно
выполнить задачу в
течении 10 мин.
Критерий
75 %
пользователей
выполнят
задачу
в течении
10 минут
Качество
работы
Успешно
выполнить
задачу
Условия
После
выполнения 5
сценариев задач
12

13. Удовлетворенность (восприятие, ощущения и мнения пользователей по поводу изучения и использования данного продукта)

Задача
удобства
применения
После выполнения
5 сценариев задач
85% пользователей
оценят степень своей
удовлетворенности
продуктом на 5,5 и
выше
баллов (по 7-ми бал.
сист.)
Критерий
Качество
работы
85%
Степень
пользователей; удовлетвореннос
ти
степень
удовлетворенно
сти
5,5 балла по
7-балльной
системе
Условия
После
выполнени
я
5
сценариев
задач
13

14. Пример требований измерения Usability пользовательского интерфейса

Тип цели (что измеряем?)
Установка
Эффективность
Пример (условие окончания тестирования)
Успешная установка за 15 минут
Успешное формирование перечня основных
задач за 20 минут после 15-минутного обзора
системы
Производительность
Выполнения задачи 85% пользователей
Выполнение 8 задач в час к концу первого
дня
Производительность
Ответственные за ввод данных должны иметь
возможность вводить данные в форму с 98%
точностью в среднем за 10 минут
Согласованность
90%
пользователей
согласованностью системы
удовлетворены
14

15. Пример требований измерения Usability пользовательского интерфейса

Безошибочное
выполнение задач
90% задач выполняются без ошибок
Выполнение
задач Обращение к подсказкам на 15% реже по
без подсказок
сравнению с существующей системой
Справка
Обращение к справочной системе успешно в 90%
случаев и 90% пользователей удовлетворены
справочной системой
Визуальные
и
мультимедиа
Положительное впечатление в 90% случаев от
возможности
графики, анимации и мультимедиа
Отсутствие дефектов практичности с уровнем
серьезности 1 или 2 относительно требований или
Дефекты
стандартов
Удовлетворенность Положительное впечатление в 90% случаев после
системой
первого часа использования
90% пользователей предпочитают НОВУЮ систему
по
сравнению
с
предшествующими 15 и
Предпочтения
конкурирующими

16. Количественные метрики оценки Usability (преимущества)

возможность применения измеряемых критериев при последующих итерациях
для оценки продвижения к цели (например, сокращение времени оформления
заказа на 20%, выявление 80% usability-проблем на сайте и др.);
возможность использования статистических методов для подтверждения
достоверности результата оценки перед заинтересованными лицами, которые
принимают решения на основе объективных данных;
уменьшение вероятности того, что на результат может повлиять субъективная
оценка конкретного разработчика ПИ;
увеличение вероятности того, что полученные результаты отражают
объективную картину и могут быть рекомендованы пользовательской аудитории;
наличие наглядного числового критерия проверки полученных результатов;
простота и удобство расчетов;
отсутствие параметров в модели позволяет оценивать и сравнивать два разных
варианта интерфейса;
прогнозирование времени работы пользователя с определенным вариантом
интерфейса;
создание рабочего прототипа ПИ необязательно;
обработка результатов тестирования может быть автоматизирована.
ФЧ

17. Качественные метрики оценки Usability

открытость процесса оценки, что способствует
исследованию новых идей и проникновению в
сущность проблемы;
возможность обсуждения проблем ПИ с
пользователями;
возможность провести оценку usability ПИ меньшим
количеством респондентова.
17

18. Методы оценки Usability

(Goals, Operators, Methods, and Selection Rules –
Цели, Операторы, Методы и Правила выбора)
Метод GOMS
анализ с использованием метода критического пути GOMS (criticalpath method GOMS CPM-GOMS)
естественный язык GOMS (natural GOMS language, NGOMSL),
учитывается поведение неопытного пользователя (например, время,
необходимое для обучения)
Goal
Methods
Operators
Selection
Rules
18

19. Набор временных интервалов

Операторы
Операции
K = 0.2 с
Нажатие клавиши. Время, необходимое для того,
чтобы нажать клавишу.
P = 1.1 с
Указание. Время, необходимое пользователю для
того, чтобы указать на какую-то позицию на
экране монитора.
H = 0.4 с
Перемещение. Время, необходимое пользователю
для того, чтобы переместить руку с клавиатуры на
ГУВ или с ГУВ на клавиатуру.
M = 1.35 с
Ментальная подготовка. Время, необходимое
пользователю для того, чтобы умственно
подготовиться к следующему шагу.
R
Ответ. Время, в течение которого пользователь
должен ожидать ответ компьютера.
19

20. Пример расчета

Перемещение руки к графическому устройству ввода данных:H
Перемещение курсора к необходимому переключателю в группе:H P
Нажатие на необходимый переключатель: H P K
В половине случаев в интерфейсе уже будет выбрано требуемое
направление перевода, и поэтому Холу не придется кликать на
переключатель. Сейчас мы рассматриваем случай, когда переключатель не
установлен в требуемое положение.
5. Перемещение рук снова к клавиатуре:H P K H
6. Ввод четырех символов:H P K H K K K K
K=0.2; P=1.1; H=0.4; M=1.35
7. Нажатие клавиши <Enter>:H P K H K K K K K
1.
2.
3.
4.
H+M+P+K+H+M+K+K+K+K+M+K=
0.4 + 1.35 + 1.1 + 0.2 + 0.4 + 1.35 + 4*(0.2) + 1.35 + 0.2 = 7.15 с
20

21. Методы оценки Usability

(Goals, Operators, Methods, and Selection Rules –
Цели, Операторы, Методы и Правила выбора)
Преимущества:
простота и удобство расчетов;
отсутствие параметров в модели позволяет проводить оценочные
сравнение двух разных вариантов интерфейса;
дает прогноз времени работы пользователя с данным вариантом
интерфейса;
модель не требует создания рабочего прототипа;
анализ по этой модели может быть автоматизирован.
Недостатки:
ориентация на средних пользователей;
не учитывает: особенностей работы новичков и специалистов;
индивидуальных различий пользователей, возникновение
случайных ошибок в работе;
в процессе работы происходит научение, а при простое –
21
забывание.

22. Экспертная оценка

Цель- определение проблем usability ПИ экспертами
контрольный список (требования в порядке их важности)
• преимущества - высокая надежность
• недостатки - большое время исследования из-за большого
количества требований, необходимость формулировки четких
требований
эвристический (эвристические характеристики удобного
пользовательского интерфейса : наблюдаемость состояния системы,
пользовательское управление и свобода действий; целостность и
стандарты; помощь пользователям в распознавании, диагностике и
устранении ошибок; соотнесение с реальным миром; предотвращение
ошибок; распознавание, а не вспоминание; гибкость и эффективность
использования, как для новичков, так и для опытных пользователей;
эстетичный и минимально необходимый дизайн; помощь и документация ).
• преимущества - небольшое время для оценки
• недостатки - не учитывает деятельности пользователей
метод мысленная прогонка по интерфейсу
• недостаток - в случае использования записи для оценки требуется
много времени
22

23. Экспертная оценка

Преимущества
может быть использован на ранних стадиях процесса разработки
не требует предварительного планирования, обеспечивает быструю и
относительно недорогую обратную связь с дизайнерам
Недостатки
необходимость наличия опытных экспертов-оценщиков
сложность обобщения результатов разных экспертов
высокая стоимость оценки
Не предполагает участия пользователями
23

24. Тестирование

Наставничество (Coaching Method);
Совместное обучение (Co-discovery Learning);
Измерение производительности (Performance measurement) ;
Протокол «вопрос-ответ» (Question-asking protocol);
Удалённое тестирование (Remote Testing, moderated);
Ретроспективное тестирование (Retrospective Testing) ;
Фиксация мыслей вслух (Thinking aloud protocol) ;
Тестирование с комментарием (Shadowing Method) ;
Обучение (Teaching Method);
24

25. Наставничество(Coaching Method)

Цель метода
выявить
трудности обучения продукту и проблемы
документации
выявить, какая информация необходима пользователям
осуществить редизайн
Способ реализации
Один
тестер выступает в роли тренера, обучающего
пользователя
Второй тестер наблюдает за общением пользователя и
первого тестера
25

26. Совместное обучение (Co-discovery Learning)

Цель
насколько
просто
научиться
использовать
Способ
проверить,
продукт
Задания выполняют сразу два пользователя, помогающие
друг другу
Пользователи
должны
быть
знакомы
и
иметь
предварительный опыт совместной работы
Недостаток
Наличие опытного пользователя
26

27. Измерение производительности (Performance measurement)

Цель
Получить количественные данные о
производительности (для сравнения
между версиями, продуктами)
Особенности
Запрещены
взаимодействия
между
тестировщиками и пользователями
Тестирование лаборатории
Высокая точность оценки
27

28. Протокол «вопрос-ответ» (Question-asking protocol)

Цель
определить ментальную модель пользователя
проблемные задачи
Способ
пользователи озвучивают свою работу;
им задаются заранее подготовленные
вопросы о продукте:
• «Как Вы могли бы послать email из
этой программы?»
• «Как сделать маркированный список?»
Преимущество
Постоянная
пользователем
обратная
связь
с
28

29. Удалённое тестирование (Remote Testing, moderated)

Цель:
Получить обратную связь при отсутствии
прямого доступа к пользователям
Способ
Тестирующий и пользователь работают
раздельно (в разных местах и/или в разное
время)
Необходимые технологии
Журналирование действий пользователя
Видеокамеры и голосовая связь или запись
Средства удаленного воспроизведения экрана
пользователя
Преимущества
испытуемый находится в естественной среде, широкий
региональный охват, опосредованное техническими
средствами наблюдение, небольшие временные затраты
Недостатки
требования к аппаратной и программной платформе,
поиск участников тестирования
29

30. Ретроспективное тестирование (Retrospective Testing)

Цель
Получить максимум обратной связи,
изучить поведение – при этом не
оказывать
влияния
на
производительность
Способ
Пользователи обсуждают с usabilityтестером видеозапись тестирования
Отвечают на вопросы, возникшие у
тестера во время тестирования
Пользователь объясняет, что он делал,
чего пытался добиться по видеозаписи
30

31. Фиксация мыслей вслух (Thinking aloud protocol)

Цель
Получить представление о том,
что пользователь думает
и переживает в процессе работы
Способы
Critical response — пользователь должен
озвучивать выполнение только заранее
определенных задач
Periodic report — в случае, если задача
трудна сама по себе, пользователь
рассказывает о её выполнении после
окончания.
Преимущества
Объективность оценки
31

32. Тестирование с комментарием (Shadowing Method)

Цель
Не пропустить специфичные для
предметной области проблемы
Не заставлять пользователя говорить
Способ
Один пользователь выполняет задания
Второй (эксперт в предметной области)
комментирует usability-тестеру его
работу.
32

33. Обучение (Teaching Method);

Цель
Проверить,
насколько
понятны
примененные модели и насколько легко
можно обучиться продукту
Способ
Один пользователь осваивает продукт
А потом объясняет новичку, как им
пользоваться
33

34.

Какой метод выбрать?
нет
Есть
Есть пользователи
пользователи для
для проведения
проведения тестирования?
тестирования?
Heuristic
ИзмерениеEvaluation
эвристик
Доступны
Доступны ли
ли пользователи
пользователи непосредственно?
непосредственно?
нет
Remote Testing
Удаленное
тестирование
Оцениваем
Оцениваем производительность,
производительность, аа не
не
впечатления
впечатления людей?
людей?
Могут
Могут ли
ли пользователи
пользователи говорить
говорить
(комментировать
свою работу)?
работу)?
(комментировать свою
Thinking
Aloudвслух
Protocol
Рассуждение
Question-asking
Ответ-вопрос
Protocol
да
нет
да
нет
Performance
Измерение
Measurement
производительности
да
Является
в
Является ли
ли тестер
тестер экспертом
экспертом в
предметной
предметной области?
области?
нет
Co-discovery
Learning
Совместное обучение
да
Может ли другой пользователь
комментировать работу пользователя,
выполняющего тестовые задания?
нет
Retrospective
Ретроспекивное
Testing
да
Teaching
ОбучениеMethod
Shadowing
Тестир. С
Method
комментариями
да
Coaching
Method
Наставничество

35. Инспекция Когнитивное пошаговое руководство (Cognitive Walkthrough)

Цель
Выявить трудность изучения
ПО без
предварительного изучения документации
Подсчитать
количество
ошибочных
действий
Способ
Предварительно не изучается документация
Определяется последовательность действий
для решения задачи
Определяется
предполагаемая
реакция
системы
Составляется отчет о проблемах
35

36. Инспекция функций (Feature Inspection)

Цель
Способ
Проанализировать конкретный набор
функций системы на понятность и
удобство использования
usability-эксперт
фокусируется
функциях
Каждая функция анализируется
характеристики usability продукта
на
на
Достоинства
Не
требует
планирования
предварительного
36

37. Плюралистическая обработка (Pluralistic Walkthrough)

Цель
выявить широкий спектр usabilityпроблем
за счёт
взаимодействия
нескольких типов экспертов
Способ
Наличие бумажного прототипа
Документируется
последовательность
действий
Составляется
качественная
и
количественная оценки usability
37

38. Инспекция с учётом различных точек зрения (Perspective-based Inspection)

Цель
исследование
и
оценка
пользовательского
интерфейса
с
конкретной точки зрения
Способ
составляется
перечень
вопросов,
которые отражают проблемы usability
продукта
процедуру проверки usability
новичок отвечает на вопросы
эксперт решает вопросы, связанные с
оценкой usability
инспекторы
пытаются
выявить
всевозможные ошибки в системе
38

39. Наблюдение (Полевые исследования)

Цель
Способ
Выявить как пользователи используют
продукт для решения своих задач
Предварительная подготовка вопросов
Перечень
данных, которые должны
быть собраны
Наблюдение
Прямое (непосредственное присутствие
специалиста по эргономике)
Косвенное (видеозапись)
39

40. Фокусные группы

Цели
собрать первоначальные мнения об ПИ,
проверить, насколько он соответствует
ожиданиям, выяснить, какие проблемы
возникают
у
пользователя
при
взаимодействии с ним
уточнение данных количественного
исследования, его дополнения за счет
более
подробной
проработки
полученной ранее информации
Способ
Наличие рабочего вариант продукта с
интерфейсом
Запись беседы фокус группы
40

41. Интервью (Interviews)

Цель
собрать как можно больше информации
об опыте пользователя и ожиданиях
пользователя о продукте
Способ
Неструктурированное интервью
Структурированное интервью
личное
общение
целевых
групп
пользователей продукта с интервьюером
41

42. Протоколирование фактического использования (Logging Actual Use)

Цели
автоматический сбор статистики
использовании продукта
об
Способ
Запись реальных условий использования
продукта
за счет низкоуровневых
частей
программного
обеспечения
системы, таких как клавиатура и
драйверы мыши
Анализ записи
42

43. Предпроектные полевые исследования (Proactive Field Study)

Цели
исследовать профиль пользователя на
его рабочем месте
Способ
Определяют характеристики, задачи
пользователя
Определяют функции системы
Фиксируются изменения поведения
пользователя
43

44. Анкетирование (Questionnaires)

Цели
выявляет информацию о личных предпочтениях
пользователя
Способ
Наличие стандартизированных опросников ACSI
(American Customer Satisfaction Index), SUMI
(Software Usability Measurement Inventory), QUIS
(The Questionnaire for User Interaction Satisfaction ),
MUMMS (Measuringthe Usability of Multi-Media
Software), IsoMetrics, WAMMI (Website Analysisand
Measurement Inventory) .
Получение
количественных
результатов
анкетирования
44

45. Анкетирование (Questionnaires)

45

46. Учет факторов Usability

снизить расходы и уменьшить время
разработки;
увеличить доходы;
повысить эффективность, продуктивность и
удовлетворенность;
снизить затраты на внедрение (за счет
сокращения обучения) и на поддержку
пользователей.
46

47. Результаты юзабилити тестирования

47