Тренировочный пул - оценка Вит

1. Тренировочный пул – оценка Вит

16.04.2015

2. Вступление

• Пул посвящен проблемным случаям оценки
при определении витальности документа.
• Пул состоит из 21 документа
• Пул оценивался асессорами из России,
Украины, Беларуси и Казахстана.

3. Результаты пула в цифрах

Наименьшая точность
0,350
25% асессоров прошли с
точностью ниже, чем
50% асессоров прошли с
точностью выше, чем
25% асессоров прошли пул с
точностью выше, чем
0,650
Наивысшая точность
1
0,750
0,842
*Асессоры, которые по каким-либо причинам выполнили пул не полностью в
этом расчете не участвовали.

4. Распределение точности

Гистограмма распределения точности. По вертикали процент от выполнивших
пул асессоров, по горизонтали – точность. Наибольшее количество асессоров
прошли пул с точностью 0,7..0,75
Точность
20
18
16
14
12
10
8
6
4
2
0
0,35
0,4
0,45
0,5
0,55
0,6
0,65
0,7
0,75
0,8
0,85
0,9
0,95
1

5. Запросы и документы (ссылки будут активны, если презентация запущена, F5 или Shift F5)

Запрос
Оценка Пояснение
мтс тарифы (Омск)
Рел-
Витальна внутренняя страница. Искомая
информация находится на внутренних
разделах, а главная страница объединяет
как нужные, так и ненужные разделы,
поэтому ее ценность невысокая.
Меган Янг
Рел-
Официальный аккаунт в соц. сети не
считается витальным ответом, если это не
уточняется в запросе. У селебрити есть
официальный сайт - он витален. Страница
на английском - оценка понижается.
ACPanel
Нерел
Нашлась программа с похожим
названием. Тем не менее, есть софт с
точным совпадением названия, и нет
объективных оснований предполагать
опечатку. Найденный объект не
соответствует запросу - нерел.

6.

зенит
Рел+
Неофициальный ответ - сайт
болельщиков. Контент актуальный и
достаточный для положительной оценки,
но сайт не очень известен - Рел+.
мон платин
Рел+
Неофициальный ответ по запросу бренда сайт локального дистрибьютора
(посредника - см. раздел О компании).
Собственный сайт бренда витален http://www.monplatin.com/main.asp?cat=si
te&sel_nav1=27
отследить посылку почта
(Москва)
Рел+
Неофициальный ответ - найденный сервис
предлагает релевантную услугу, но это не
сайт Почты России. Официальный, а
значит и Витальный, ответ здесь
http://www.russianpost.ru/Tracking20/
Стим
Рел+
Витальна главная страница - запрос
обращен ко всему сервису в целом,
http://store.steampowered.com/ - Вит, а
нашлась одна из внутренних страниц.
Полноценно пользоваться сайтом могут
только зарегистрированные пользователи,
поэтому страница заслуживает
положительной оценки.

7.

детский са 85 (СанктПетербург)
Рел+
Сайт целиком посвящен искомому саду.
Нашелся раздел, который объединяет в себе
ряд сведений о ДС - контакты, обеспечение,
питание и проч. - достаточно весомый ответ
для положительной оценки.
гисметео владивосток
Пол
Витальна основная страница, посвященная
городу, ее можно найти через навигацию по
сайту:
http://www.gismeteo.ru/city/daily/4877/.
Нашлась одна из ее внутренних страниц. Она
содержит достаточно полезный ответ для
положительной оценки.
лунтик смотреть онлайн
Пол
Канал на стороннем сервисе не будет
витальным ответом, так как у мультфильма
есть собственный официальный сайт, а ютуб
используется только как посредник для
размещения видео.
Подборка всех серий с учетом удобства и
авторитетности ресурса заслуживает
высокой оценки.

8.

ГООООЛ
Вит
Нашелся искомый сервис. Наличие
дополнительного "хвоста" в урле никак не
отражается на показанной странице - это
главная страница сайта (можно стереть
ненужную часть урла и убедиться, что
страница не меняется).
судостроительный завод
волга нижний новгород
Вит
Нашелся официальный сайт. Вход на сайт
предваряет сплеш-страница. Оценка такой
страницы приравнивается к оценке
страницы сайта за ней - то есть Вит.
синемапарк тюмень
Вит
Официальный сайт сети. Сеть охватывает
разные города, но сайт сделан так, что
главная страница одинаково подойдет для
всех регионов - у сайта нет специальных
региональных доменов или разделов,
выбор региона запоминается сайтом, а
адрес главной страницы от города к
городу не меняется.
bad comedian
Вит
Ответ-первоисточник. Ищется
видеоблоггер, который ведет основную
деятельность на ютубе. Его официальный
канал является искомым
первоисточником, а значит, витальным.

9.

Сбербанк (СанктПетербург)
Вит
Банк охватывает множество регионов, но
дизайн сайта такой, что главная страница
для любого региона одна и та же (при
смене региона адрес страницы не
изменяется). Витальный ответ.
показания счетчика
электроэнергии экибастуз
Вит
Искомая услуга, представленная на
официальном сайте компании. Это первоисточник, Витальный ответ.
gpu-z
Вит
Искомая утилита, размещенная на
официальном сайте разработчика (сайт
подтверждает это, разместив программу в
разделе Our Software). Витальный ответ.
соло на клавиатуре скачать Вит
Официальная возможность скачать
искомую программу. Триальность в
данном случае не влияет на оценку:
согласно запросу необходимо скачать, это
официальная возможность скачать с сайта
первоисточника - оценка Вит.

10.

интерны
Вит
Официальный ответ - страница сериала на
сайте правообладателя.
DVA-G3672B частоты
(Ханты-Мансийск)
Вит
Ответ-первоисточник: страница содержит
нужный ответ, и это официальные
сведения об искомом устройстве.
гостиница индиго отзывы
(Санкт-Петербург)
Рел-
Не существует витального ответа. У
отзывов не может быть конкретного
первоисточника, и то, что они
располагаются на официальном сайте не
делает их витальным ответом.
Для положительной оценки отзывов
недостаточно

11. Задания с лучшим результатом

1.
2.
3.
4.
5.
Интерны. Видимо, все хорошо знают, что ТНТ – правообладатель
сериала.
Судостроительный завод волга нижний новгород. Сплеш-страница
хорошо распознается и оценивается равносильно морде сайта за
ней.
ГООООЛ. «Длинный хвост» в урле никак не влияет на отображаемую
страницу, все проверили, что это и есть главная страница искомого
сайта.
Отследить посылку почта. Хорошо определили, что найденная
услуга предлагается не из официального источника.
Зенит. Хорошо определили, что найденный сайт всего лишь
фанатский.

12. Задания с худшим результатом

1. Меган Янг.
Многие оценили положительно, хотя страница англоязычная. Также есть значительное количество
оценок Вит – так нельзя. У селебрити есть свой сайт, а ее многочисленные аккаунты в разных
социальных сетях не могут быть витальны.
2. Мон платин.
Очень многие оценили сайт витальным. А между тем он не является официальным сайтом
торговой марки. Будьте, пожалуйста, внимательней и проверяйте информацию о сайте,
копирайты и т.п. Можно отдельно поискать в интернете официальный сайт, если найденный
вызывает сомнения. Случаи, когда частный дилер визуально придает себе налет
«официальности» попадаются регулярно.
3. мтс тарифы.
Здесь случился большой разброс оценок – есть и витальные и нерелевантные. Витальной здесь
будут внутренние страницы сайта, посвященные тарифам. С точки зрения полезности морду сайта
нельзя назвать полностью бесполезной, т.к. с нее можно перейти на различные отдельные
разделы с тарифами, то есть морда является своеобразным агрегатором нужных разделов. Но в то
же время морда сайта – слишком широкий ответ по конкретному запросу и дает доступ к
большому количеству ненужной информации, и не содержит непосредственно ответ на запрос.
Отсюда оценка Рел-

13.

4. bad comedian.
Запрос вызвал справедливые разногласия в оценке. Причиной послужил тот факт, что у блоггера есть
несколько параллельных каналов, и один из них на ресурсе Карамба.ТВ - http://carambatv.ru/movie/badcomedian/ . Этот канал имеет некоторые преимущества перед ютубовским, например новые видео там
выходят несколько раньше, и нет запретов от правообладателей. Благодарим всех асессоров, кто
подробно описал проблему канала ютуба.
Несмотря озвученные различия, мы решили сохранить оценку Витальный каналу на ютубе и, конечно,
оценить витальным канал на карамбе. Потому что, во-первых, карамба не является официальным
сайтом блоггера, а только площадкой, где он размещается. Можно сказать, что у блоггера несколько
основных каналов, которые он параллельно ведет. Сама карамба создавалась на основе шоу Макса
+100500, можно сказать, что она является официальным сайтом для этого шоу. Во-вторых, карамба
наравне с ютубом востребована среди пользователей (исходя из статистики), так что нельзя сделать
вывод, какой канал однозначно основной.
В итоге, пример получился не очень однозначным. Цель примера – показать, что в определенных
случаях страница YouTube может быть витальным ответом, но только по запросам, когда они являются
своеобразным первоисточником. Это часто касается видео блоггеров, которые только своими блогами и
известны. Приведу другой пример витальной страницы Youtube
[в гостях у фроста] - https://www.youtube.com/user/YFrostA - Витальный канал, который и ищут
подавляющее большинство пользователей.
5. гостиница индиго отзывы.
Главная проблема оценки здесь – очень многие поставили Вит. Так нельзя. Отзывы не могут быть
предметом правообладания, где бы они не были расположены. У отзывов нет первоисточника. Их
генерят разные юзеры, и даже страница на официальном сайте объекта не может быть витальна по
такому запросу.

14. Итого

• При определении витальности важно ответь на вопрос –
может ли быть витальный ответ у запроса?
• Если может, нашелся ли официальный ответ, ответпервоисточник или это что-то другое?
• Если ваша точность по итогам пула составила меньше 0,65
(8 и более ошибок) – это серьезный повод задуматься над
качеством своих оценок.
• Точность свыше 0,85 (3 и менее ошибок) – заслуживает
похвалы. Вы молодцы!