Вебинар_12.05

1. Полезность 2.0

ПОЛЕЗНОСТЬ 2.0
Что и как размечаем

2. Полезность 2.0: оцениваем, решила ли модель задачу пользователя

Полезный ответ - ответ, который:
■ помогает пользователю достичь нужного результата;
■ учитывает контекст его задачи;
■ актуален и правдив в основной части;
■ требует минимум дополнительных усилий на понимание и
применение.

3. Полезность 2.0: оцениваем, решила ли модель задачу пользователя

4. Что не относится к полезности

Безопасность
Эмпатия
Грамотность и оформление*

5. Какой текст полезнее

Запрос: лучше поехать в Пятигорск или Кисловодск? Кратко
А
B
И Пятигорск, и Кисловодск по-своему
хороши — сложно выбрать однозначно.
Зависит от того, какой отдых вы
предпочитаете:
В Кисловодск — за природой, тишиной и
долгими прогулками. Здесь огромный,
потрясающий парк, больше солнечных дней
и знаменитый нарзан. Идеально для
спокойного релакса и перезагрузки.
В Кисловодске приятнее гулять: там
живописно, воздух особенный, атмосфера
умиротворяющая. Кажется, будто время
замедляется — как раз чтобы отдохнуть
душой и телом.
Пятигорск чуть более оживлённый:
в нём чувствуется движение, есть что
посмотреть, куда отправиться за новыми
впечатлениями. Он будто зовёт исследовать
окрестности и вспоминать истории давних
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук,
лермонтовские места, более разнообразная
архитектура и оживленный городской ритм.
Отлично для тех, кто любит изучать новые
места.

6. Процесс оценки

Анализ запроса
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

7. Процесс оценки

Анализ запроса
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

8. Анализ запроса Смотрим диалог, запрос, метаинформацию. Исследуем тему. Строго до прочтения ответов

Задача пользователя
• Кто наш пользователь
• Что на самом деле хочет получить пользователь
• Что будет делать с ответом
Что точно должно быть в ответе
• Необходимый минимум, без чего нельзя обойтись
Сломанный инстракт и неясный запрос

9. Анализ запроса

Запрос: лучше поехать в Пятигорск или Кисловодск? Кратко
Задача пользователя: турист планирует поездку и выбирает
между Пятигорском и Кисловодском. Ему нужно быстрое и
понятное сравнение этих двух городов. На основе полученной
информации примет окончательное решение о месте отдыха.
Должно быть в ответе: краткое сравнение Пятигорска и
Кисловодска, выделяющее главные профильные особенности
каждого города. Помощь с выбором (rtb)

10. Анализ запроса. VLM

Что на фото
Запрос-замена
Узнаваемый объект или человек
Что это / кто это / как называется
Объект уже назван (шампунь плюс
название)
Опиши характеристики
Объект с различимым названием
(лекарство, бытовая техника)
Как использовать
Скрин программы с ошибкой, символы на
упаковке/ярлыке одежды
Как исправить / что значит
На картинке пользователя – самые разные
товары. Любой предмет, который можно
купить.
где купить / найди такую / сколько стоит /
что за ткань
Узнаваемая локация (здание, улица)
Где это / какой адрес/ что тут расположено
Любая образовательная задача / ребус /
загадка / кроссворды
Правильный ответ / Как решить
Результаты анализов, рентгены, графики и т. Диагностируй/проанализируй

11. Процесс оценки

Анализ запроса
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

12. Проверка на критические дефекты После чтения ответа

Отказ
•Модель отказывается отвечать по любой причине,
дальше везде получает минимальные оценки
Не та задача
•Модель неверно поняла интент, дальше везде
получает минимальные оценки

13. Проверка на критические дефекты

Можно ли делать укол кетонала при
диабете
Что такое эффект бабочки
Решение о возможности применения
Кетонала (кетопрофена) при диабете
должен принимать только
врач. Самостоятельное назначение
препарата, расчёт дозы или
изменение схемы лечения может
привести к серьёзным осложнениям.
Возможно, вы спрашиваете о том, как
насекомые, которые кажутся
невесомыми, могут преодолевать
значительные расстояния. Давайте
разберемся. У них есть «хитрый»
механизм полета:
1. Крылья — не плоские пластины. Они
гибкие, могут менять форму и
двигаться очень сложно: не просто
вверх-вниз, а с поворотами,

14. Процесс оценки

Декомпозиция
задачи
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

15. Продвижение по задаче Измеряет расстояние от ответа до фактического решения задачи пользователя.

Учитывает:
покрытие задачи (все ли, что требовалось пользователю,
рассказано в ответе)
качество содержания (насколько глубоко проработано ядро)
фактическую достоверность ядра.

16. Продвижение по задаче. Ядро

Ядро – часть ответа, которая непосредственно решает задачу пользователя. В
продвижении оцениваем только ядро. И только ядро проверяем на
достоверность/актуальность.
Пример:
Какая высота Эльбруса?
Высота Эльбруса – ядро. Горная цепь, образование вулкана, возраст – не ядро.
Пример:
Куда лучше поехать – в Пятигорска или Кисловодск? Кратко
То, что имеет отношение к выбору города – ядро. Даты оснований городов, численность
населения – не ядро.

17. Продвижение. Обогащения

■ Обогащения – это визуальные элементы в ответе модели (фотографии, видеоролики,
карточки товаров, геолокационные данные).
■ Если основная задача — показать пользователю внешний вид чего-то, показать что-то
с помощью видео, то обогащение – ядро ответа:
■ в запросе есть слова "картинка (и)", "фотография (и)", "видео", "посмотреть", "клип":
[запрос Фотографии Воронежа];
Когда обогащения не являются ядром ответа и не штрафуем за это в продвижении /
когнитивной нагрузке:
■ задача решается без картинки, но картинка была бы полезна (Запрос: как правильно
подбирать цвета для цветовой гаммы?)
■ Задачу пользователя можно решить и без видео, но оно было бы очень полезно (и его
в ответе нет) (Запрос: как приготовить борщ)
■ Гео-карточки выполняют в первую очередь функцию полезного дополнения в ответе,
но не могут заменить основной текстовый контент для пользователя.

18. Продвижение по задаче

Полностью
решает задачу
Частично
решает задачу
Не решает
задачу

19. Задача решена Рабочий вариант, который решает задачу «здесь и сейчас»

Качество содержания проработано. Есть
аргументация выбора, если это нужно
Ответ можно использовать как есть или с
минимальной правкой.
Ядро ответа фактически достоверно и
актуально.
Может быть базовым, без изысков, но содержит
необходимую суть

20. Частично решает задачу Нужно доработать

В запросе несколько подзадач, решена часть
Модель дала только альтернативы
Не учтены важные ограничения из запроса
Обогащение – ядро, но модель отвечает только текстом
Вектор вместо ядра (направление решения, план)
Есть фактические ошибки в ядре, но часть ядра ок
Содержание слишком поверхностное. До результата
нужно дописывать блоки или искать недостающую
информацию

21. Не решает задачу Ответ бесполезен, проще сделать с нуля.

Нет ядра или хотя бы вектора ответа.
Тотальная ложь в ядре ответа ИЛИ данные полностью
неактуальны и утратили силу
Нерелевантное обогащение
•Попытка настолько далёкая от задачи, что проще
начать заново

22. Продвижение по задаче

А
B
И Пятигорск, и Кисловодск по-своему хороши
— сложно выбрать однозначно.
Зависит от того, какой отдых вы предпочитаете:
В Кисловодск — за природой, тишиной и
долгими прогулками. Здесь огромный,
потрясающий парк, больше солнечных дней и
знаменитый нарзан. Идеально для спокойного
релакса и перезагрузки.
В Кисловодске приятнее гулять: там
живописно, воздух особенный, атмосфера
умиротворяющая. Кажется, будто время
замедляется — как раз чтобы отдохнуть душой
и телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук,
Пятигорск чуть более оживлённый:
лермонтовские места, более разнообразная
в нём чувствуется движение, есть что
архитектура и оживленный городской ритм.
посмотреть, куда отправиться за новыми
Отлично для тех, кто любит изучать новые
впечатлениями. Он будто зовёт исследовать
места.
окрестности и вспоминать истории давних
времён.
Короткий итог: гулять по парку и дышать
воздухом — Кисловодск; смотреть
Где будет лучше именно вам — зависит от
достопримечательности и ездить на экскурсии
настроения, которое ищете: спокойного
— Пятигорск.

23. Продвижение по задаче

А
B
И Пятигорск, и Кисловодск по-своему хороши
— сложно выбрать однозначно.
Зависит от того, какой отдых вы предпочитаете:
В Кисловодск — за природой, тишиной и
долгими прогулками. Здесь огромный,
потрясающий парк, больше солнечных дней и
знаменитый нарзан. Идеально для спокойного
релакса и перезагрузки.
В Кисловодске приятнее гулять: там
живописно, воздух особенный, атмосфера
умиротворяющая. Кажется, будто время
замедляется — как раз чтобы отдохнуть душой
и телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук,
Пятигорск чуть более оживлённый:
лермонтовские места, более разнообразная
в нём чувствуется движение, есть что
архитектура и оживленный городской ритм.
посмотреть, куда отправиться за новыми
Отлично для тех, кто любит изучать новые
впечатлениями. Он будто зовёт исследовать
места.
окрестности и вспоминать истории давних
времён.
Короткий итог: гулять по парку и дышать
воздухом — Кисловодск; смотреть
Где будет лучше именно вам — зависит от
достопримечательности и ездить на экскурсии
настроения, которое ищете: спокойного
— Пятигорск.

24. Продвижение по задаче. Комментарий

Когда мы выставили оценку за продвижение, нужно ее аргументировать.
Что пишем (1-2 предложения)
Что не пишем
В чем конкретно ошибки в ядре
Насколько ответ водянист
Какие доработки нужно сделать,
чтобы задача считалась решенной
Какая информация тут на самом
деле не нужна
Почему ответ непригоден
Сравнение с соседним ответом
Если все ок, то какая задача
пользователя решена
Легко ли считывается ответ

25. Продвижение по задаче

А
B
И Пятигорск, и Кисловодск по-своему хороши — Зависит от того, какой отдых вы предпочитаете:
сложно выбрать однозначно.
В Кисловодск — за природой, тишиной и
долгими прогулками. Здесь огромный,
В Кисловодске приятнее гулять: там
потрясающий парк, больше солнечных дней и
живописно, воздух особенный, атмосфера
знаменитый нарзан. Идеально для спокойного
умиротворяющая. Кажется, будто время
релакса и перезагрузки.
замедляется — как раз чтобы отдохнуть душой и
телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук, лермонтовские
Пятигорск чуть более оживлённый:
места, более разнообразная архитектура и
в нём чувствуется движение, есть что
оживленный городской ритм. Отлично для тех,
посмотреть, куда отправиться за новыми
кто любит изучать новые места.
впечатлениями. Он будто зовёт исследовать
окрестности и вспоминать истории давних
Короткий итог: гулять по парку и дышать
времён.
воздухом — Кисловодск; смотреть
достопримечательности и ездить на экскурсии —
Где будет лучше именно вам — зависит от
Пятигорск.
настроения, которое ищете: спокойного

26. Процесс оценки

Анализ запроса
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

27. Когнитивная нагрузка Измеряет, насколько удобно использовать ответ и воспринимать его

Лаконичность и емкость. Фокус на задаче пользователя.
Нет воды, повторов и капитанских рассуждений.
Структура и логика. Сначала решение, затем
обоснование, затем детали и сценарии.
Доступность и калибровка. Доходчивое объяснение на
языке пользователя. Глубина соответствует уровню
запроса.

28. Когнитивная нагрузка Выделения и флаги

Выделение
Что выделяем
Шум/вода
Фрагмент, который можно убрать или существенно сократить без
потери для решения задачи
Не по уровню
Фрагмент, не откалиброванный под целевую аудиторию (слишком
сложно / слишком просто).
Флаг
Когда ставим
Нарушение логики Проблемы со сторителлингом, неправильная
повествования
последовательность блоков, нарушение причинноследственных связей, обогащения вставлены не по
смыслу секции
Недостаточная
Информация не разбита на блоки, стена текста, не

29. Когнитивная нагрузка. Выделение и флаги

А
B
И Пятигорск, и Кисловодск по-своему хороши — Зависит от того, какой отдых вы предпочитаете:
сложно выбрать однозначно.
В Кисловодск — за природой, тишиной и
долгими прогулками. Здесь огромный,
В Кисловодске приятнее гулять: там
потрясающий парк, больше солнечных дней и
живописно, воздух особенный, атмосфера
знаменитый нарзан. Идеально для спокойного
умиротворяющая. Кажется, будто время
релакса и перезагрузки.
замедляется — как раз чтобы отдохнуть душой и
телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук, лермонтовские
Пятигорск чуть более оживлённый:
места, более разнообразная архитектура и
в нём чувствуется движение, есть что
оживленный городской ритм. Отлично для тех,
посмотреть, куда отправиться за новыми
кто любит изучать новые места.
впечатлениями. Он будто зовёт исследовать
окрестности и вспоминать истории давних
Короткий итог: гулять по парку и дышать
времён.
воздухом — Кисловодск; смотреть
достопримечательности и ездить на экскурсии —
Где будет лучше именно вам — зависит от
Пятигорск.
настроения, которое ищете: спокойного

30. Когнитивная нагрузка

Легко
воспринимать
Есть помехи
Очень сложно
воспринимать

31. Когнитивная нагрузка Легко извлечь нужную информацию

Легко сканировать, главное вынесено вперед
Все по делу: каждый абзац добавляет ценность
Сложность терминов, глубина пояснений
соответствует уровню пользователя
Обогащения (если нужны) стоят на своих местах,
логично дополняют текст.
Лаконичность: шума нет или он минимален.

32. Есть помехи для восприятия Нужно почистить/поменять структуру

Лишние факты и шум. Излишнее количество вариантов
Много воды: мысль сильно размазана.
Недостаточная калибровка под пользователя
Неоптимальная структура
Легкое нарушение логики подачи
Обогащение нужно и оно есть, но его тяжело найти.
Или обогащения вставлены не по смыслу секции
Обогащение относятся косвенно к запросу, мешает
воспринимать ответ.

33. Очень сложно воспринимать Разбираться, перечитывать

Шум занимает больше места, чем ключевой ответ на
вопрос.
Ответ системно не по уровню: целиком написан для
другой аудитории.
Стена текста вместо структуры
Изложение хаотично: теряется нить

34. Когнитивная нагрузка Комментарий

Когда мы выставили оценку по когнитивной нагрузке, нужно ее аргументировать.
Что пишем (1-2 предложения)
Что не пишем
Наличие шума и его влияние на восприятие ответа
Недостатки по качеству
содержания
Как структурирован ответ / логически организован –
и как это влияет на восприятие
Чего-то не хватает в
ответе
В каких местах ответ не откалиброван под
пользователя и почему
Тип отказа
Почему обогащение в ответе помогает / мешает
читать, воспринимать ответ
Отсутствие обогащений

35. Когнитивная нагрузка. Выделение и флаги

А
B
И Пятигорск, и Кисловодск по-своему хороши —
сложно выбрать однозначно.
Зависит от того, какой отдых вы предпочитаете:
В Кисловодск — за природой, тишиной и долгими
прогулками. Здесь огромный, потрясающий парк,
больше солнечных дней и знаменитый нарзан.
Идеально для спокойного релакса и перезагрузки.
В Кисловодске приятнее гулять: там живописно,
воздух особенный, атмосфера умиротворяющая.
Кажется, будто время замедляется — как раз
чтобы отдохнуть душой и телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук, лермонтовские
Пятигорск чуть более оживлённый:
места, более разнообразная архитектура и
в нём чувствуется движение, есть что посмотреть, оживленный городской ритм. Отлично для тех, кто
куда отправиться за новыми впечатлениями. Он
любит изучать новые места.
будто зовёт исследовать окрестности и
вспоминать истории давних времён.
Короткий итог: гулять по парку и дышать воздухом
— Кисловодск; смотреть достопримечательности и
Где будет лучше именно вам — зависит от
ездить на экскурсии — Пятигорск.
настроения, которое ищете: спокойного
созерцания или лёгкого приключения.

36. Когнитивная нагрузка. Выделение и флаги

А
B
И Пятигорск, и Кисловодск по-своему хороши —
сложно выбрать однозначно.
Зависит от того, какой отдых вы предпочитаете:
В Кисловодск — за природой, тишиной и долгими
прогулками. Здесь огромный, потрясающий парк,
больше солнечных дней и знаменитый нарзан.
Идеально для спокойного релакса и перезагрузки.
В Кисловодске приятнее гулять: там живописно,
воздух особенный, атмосфера умиротворяющая.
Кажется, будто время замедляется — как раз
чтобы отдохнуть душой и телом.
В Пятигорск — за историей, экскурсиями и
активностью. Здесь гора Машук, лермонтовские
Пятигорск чуть более оживлённый:
места, более разнообразная архитектура и
в нём чувствуется движение, есть что посмотреть, оживленный городской ритм. Отлично для тех, кто
куда отправиться за новыми впечатлениями. Он
любит изучать новые места.
будто зовёт исследовать окрестности и
вспоминать истории давних времён.
Короткий итог: гулять по парку и дышать воздухом
— Кисловодск; смотреть достопримечательности и
Где будет лучше именно вам — зависит от
ездить на экскурсии — Пятигорск.
настроения, которое ищете: спокойного
созерцания или лёгкого приключения.
Мысль сильно размазана, можно выкинуть целые Лаконично и все по делу.

37. Процесс оценки

Анализ запроса
Наличие/отсутствие
блокеров
Продвижение по задаче
Когнитивная нагрузка
Итоговая оценка
ответа
Выбор лучшего ответа
(SbS)

38. Итоговая оценка «отлично»

Продвижение
Когнитивная
нагрузка
5
Содержание качественное, глубокое и проработанное. Учтен весь необходимый контекст
диалога. Шума нет или в пределах одного шумного предложения, не влияющее на
восприятие ответа.
✨ Обогащения: Если визуал уместен, (даже если пользователь не просил), он добавлен.
Помогает лучше двигаться по задаче и легче воспринимать ответ.

39. Итоговая оценка «хорошо». Путь А

Продвижение
Когнитивная
нагрузка
4
Путь А (доработать качество содержания): задача полностью решена.
До идеального ответа не хватило проработки качества содержания (местами суховато,
хочется усилить rtb). ИЛИ не весь контекст диалога / ограничения учтены (не тот объем,
сбился формат и т.д, но не мешает решению задачи)
Шума нет или в пределах одного шумного предложения, не влияющее на восприятие
ответа.
✨ Обогащения-путь А: Упущена полезная картинка/видео/гео. Задача решается текстом,
но ответ сильно выиграл бы в наглядности, если бы модель добавила визуал.

40. Итоговая оценка «хорошо». Путь B

Продвижение
Когнитивная
нагрузка
4
Путь Б (легкий шум): Задача решена и применима. Содержание проработано, контекст
диалога учтен.
Есть небольшие помехи для восприятия ответа: вода, нарушение структуры, но ответ
полезен и экономит время.

41. Итоговая оценка «средне». Путь А

Продвижение
Когнитивная
нагрузка
3
Путь А (готово + шум): задача полностью решена, но ответ почти невозможно прочитать:
текст сильно раздут шумом, много неоткалиброванных блоков или критично нарушена
структура.
✨ Обогащения-путь А: Запрос требует картинку: она есть, но ее тяжело найти в ответе. В
ответе есть подводка ("вот фотография/видео/гео"), а фото / видео / гео нет. Обогащения
есть, но не помогают, а путают и затрудняют восприятие. Дубли обогащений критично
влияют на восприятие ответа.

42. Итоговая оценка «средне». Путь B

Продвижение
Когнитивная нагрузка
3
Продвижение
Когнитивная нагрузка
3
Путь Б (доработка содержания): решена именно та задача, необходимые смысловые блоки
присутствуют, учли весь контекст. Качество содержания плохое (шаблонное, поверхностное,
не хватает деталей / rtb). Допустимы небольшие фактические ошибки в ядре, которые не
путают пользователя.
Ответ легко воспринимается, или нужно немного почистить / откалибровать / поменять
структуру.
✨ Обогащения-путь Б: Картинки соответствуют запросу, но противоречат тексту ответа. Или
картинки лишь частично соответствуют запросу пользователя.

43. Итоговая оценка «плохо». Путь А

Продвижение
Когнитивная
нагрузка
2
Путь А (плохое содержание + шум): решена именно та задача, необходимые смысловые
блоки присутствуют, учли весь контекст. Качество содержания плохое (шаблонное,
поверхностное, не хватает деталей).
При этом подача ответа очень плохая: ответ почти невозможно прочитать / использовать.

44. Итоговая оценка «плохо». Путь B

Продвижение
Когнитивная нагрузка
2
Продвижение
Когнитивная нагрузка
2
Путь Б (дан только вектор): решена не совсем та задача, не все подзадачи описаны /
задача неполно описана, не учли важное из контекста, переложили ответственность на
пользователя, есть фактические ошибки / неактуальные данные в ответе.
✨ Обогащения-путь Б: Картинки не соответствуют запросу, но есть полезная текстовая
часть в ответе.

45. Итоговая оценка «очень плохо».

Продвижение
Когнитивная нагрузка
1
Продвижение
Когнитивная нагрузка
1
Продвижение
Когнитивная нагрузка
1
Задача не решена. Ничего из ответа нельзя использовать. Отказ, полный промах мимо
задачи, только ложь в ядре ответа; попытка настолько далёкая, что проще начать заново.

46. Итоговый комментарий к ответу

Пишем обязательный свободный комментарий к каждому ответу. Зафиксируйте:
■ Общее впечатление: что хорошо, что плохо
■ Что не покрыто выделениями/флагами
■ Оценку качества содержания: насколько глубоко и проработанно модель решила
задачу.
■ Опционально: можно указать хорошие элементы ответа, похвалить его.
■ Как получили интегральную оценку (не всегда очевидно).

47. Итоговая оценка. Пример

Продвижение
Когнитивная нагрузка
3
Продвижение
Когнитивная нагрузка
5
Ответ А: Поверхностное содержание – модель слабо объясняет разницу между городами.
Плюс много водянистых формулировок, которые можно не читать. Но небольшое
продвижение по задаче есть – разница между отдыхом в Кисловодске и Пятигорске в
общих чертах вырисовывается.
Ответ B: Модель кратко показала отличия между городами– где и как проходит отдых.
Пользователь сможет сделать выбор.

48. Процесс оценки

Анализ запроса
Критические
дефекты
Продвижение по
задаче
Когнитивная
нагрузка
Итоговая оценка
ответа
Выбор лучшего
ответа (SbS)

49. Критерии сравнения Обязательны, если итоговые оценки равны

1. Понимание задачи и контекста
2. Применимость
3. Качество содержания
4. Лаконичность
5. Структура и логика
6. Добавленная ценность

50. SbS. Финальный шаг Выбор лучшего ответа

Но сначала пишем итоговый комментарий. Кратко – почему победил именно этот
ответ
Пример:
Ответ B однозначно полезнее, потому что четче показывает, как проходит отдых в
каждом из городов, и помогает определиться с выбором.
Всё!!!