скк фактчека

1.

СКК
фактчека
(в мемах про котиков)

2.

Почему на фактчеке нельзя сделать нормальную СКК
● Концептуально фактчек близок к
ранжированию
● Логично было бы интегрировать в
него привычную систему ханипотов
● Проблема в том, что пулы фактчека
имеют разное количество ответов
● Оценивать расстановку двух и пяти
ответов одинаково нельзя

3.

Решение в том, чтобы довести заказчика (до истерики)
● Что нам нужно от фактчека на самом
деле?
● Там очень простые правила
расстановки ответов - трудно
ошибиться в расстановке
● Там очень простые правила
выставления звезд - трудно
ошибиться в звездах
● Основная трудность задания определить, есть ли ошибка в ответе
и верно ее классифицировать

4.

Итог - оценивать ханипотами, но не задания, а ответы
● Ханипот будет выглядеть как и
раньше - инстракт и 5 ответов
● В случае, если он попадет в пул с
меньшим количеством ответов,
“лишние” ответы будут просто
обрезаться
● “Ожидаемый ответ” теперь
относится именно к конкретному
ответу, а не заданию в целом
● Оцениваться будут все ответы в
задании

5.

Как оценивается ответ
● Каждый ответ может получить
оценку от 0 до 1
● Оценку формирует соответствие
элементам ожидаемого ответа согласовался с ожидаемым,
получаешь часть от единицы
● Предварительный их перечень
таков: наличие\отсутствие ошибки,
критичность ошибки, тип ошибки,
количество ошибок

6.

Наличие\отсутствие ошибки
● Это сугубо решение о том, есть в
ответе ошибки или нет
● Этот элемент не учитывает ни
количество ошибок, ни их тип только наличие\отсутствие
● При совпадении с ожидаемым
оценка увеличивается на 0,4

7.

Критичность ошибок
● Оценивается не критичность каждой
отдельной ошибки, а соответствие
ожидаемому ответу в части именно
наличия в разметке редактора ошибок
определенной степени критичности
● Возможны 4 варианта: "нет никаких
ошибок", "есть только ошибки в
ключевой информации", "есть только
ошибки в дополнительной
информации", "есть ошибки и в
ключевой, и в дополнительной
информации"

8.

Тип ошибок
● Это фактические ошибки, логические
ошибки и сомнительная
информация
● Оценивается не тип каждой
отдельной ошибки, а именно выбор
редактором в ответе
соответствующей комбинации (чаще
всего тип там только один)

9.

Количество ошибок
● Количество ошибок - один из самых
спорных параметров
● Несколько условий, чтобы упростить
здесь процесс
● Для количества ошибок не важны их
тип и критичность
● Если ошибок в ожидаемом ответе
более шести, коэффициент за
количество получает редактор,
нашедший по крайней мере шесть

10.

Совмещение оценок разных ответов
● Финальная оценка фактчека среднее арифметическое оценок
всех ответов
● Для адекватной оценки нужно не
менее 30 ответов в период (это
соответствует, в среднем, 10
ханипотам)
● Подлив из прошлого месяца (и
только из него) работает как и ранее,
по окончанию периода

11.

Сколько надо на норму\выше нормы?
● Ханипоты в пулах появляются уже
две недели. И статистика
показывает, что 73% разметок
ответов получают оценку 0,9 и
выше.
● В этой связи от заказчиков таргеты
такие: среднее по ханипотным
ответам более 0,75 - норма. Более
0,9 - выше нормы.

12.

Апелляции по фактчеку
Естественно, будут случаи, когда редакторы
не сойдутся с ханикомом, и хаником может
быть неправ
Апелляции работают как и ранее, через
заполнение родным шефом специальной
формы
В случае если хаником признает неправоту,
он меняет параметры ожидаемого ответа
В этом случае оценка пересчитывается у
всех редакторов (даже если кому-то это
будет в ущерб)

13.

Когда это заработает?
● Оно уже. Ханипоты уже есть в пулах
фактчека
● К концу этого периода придется
считать качество по-взрослому
● Даша для просмотра ханипотов
фактчека у редакторов пока нет
(будет к началу ноября)
● Пока его нет, сделаем пару выгрузок
иксельками
● Все описанное до конца недели
прорастет в вики с котиками

14.

Все! Вопросы?