POISKOVYE-ALGORITMY-KAK-POISKOVIKI-NAHODYaT-NUZhNUYu-STRANICU-SREDI-MILLIARDOV

1.

ПОИСКОВЫЕ АЛГОРИТМЫ:
КАК ПОИСКОВИКИ НАХОДЯТ
НУЖНУЮ СТРАНИЦУ СРЕДИ
МИЛЛИАРДОВ
01
СКАНИРОВАНИЕ
УЧЕБНЫЙ ДОКЛАД · ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Роботы обнаруживают страницы, переходя по ссылкам и возвращаясь к уже известным
адресам.
02 ИНДЕКСИРОВАНИЕ
Содержимое страниц анализируется и связывается с темами и словами в поисковом
индексе.
03 РАНЖИРОВАНИЕ
После запроса система выбирает и упорядочивает наиболее подходящие результаты.

2.

КОНТЕКСТ
Введение
Поисковая система должна отвечать на
запрос почти мгновенно, хотя нужная
информация распределена по огромному
и постоянно меняющемуся вебу.
Поэтому поиск происходит в два
времени: заранее система собирает и
организует сведения о страницах, а после
запроса выбирает наиболее подходящие
результаты.
Цель доклада — последовательно
разобрать, как страница проходит путь от
публикации на сайте до появления в
поисковой выдаче.
01
02
03
Собрать
Понять
Выбрать
узнать о странице и её
адресе.
проанализировать
содержание и
признаки.
сопоставить запрос с
индексом.

3.

ОСНОВНАЯ ЧАСТЬ · ЭТАП 01
1. Сканирование: как поисковик узнаёт о страницах
Сканирование выполняют специальные
программы — роботы или краулеры. Они
посещают доступные страницы, переходят по
ссылкам и обнаруживают новые или обновлённые
URL. Поскольку веб постоянно меняется, обход
выполняется регулярно, а не один раз.
Что поддерживает список URL
Ссылки между страницами
Карты сайта
Повторные обходы
У поисковой системы нет единого полного реестра
всех веб-страниц. Поэтому ссылки, карты сайта и
повторные посещения помогают поддерживать
список известных адресов. При этом обнаружение
страницы ещё не означает, что она обязательно
попадёт в индекс или будет показана
пользователю.
Главное различие. Обнаружение страницы
ещё не означает, что она попадёт в индекс или
будет показана пользователю.
Источник 2 — Google Search Central, раздел о
сканировании и индексировании.

4.

ОСНОВНАЯ ЧАСТЬ · ЭТАП 02
2. Индексирование: как создаётся карта веба
После загрузки страницы система анализирует её
содержимое: текст, изображения, видео, структуру
и другие признаки. Эти сведения сохраняются в
поисковом индексе — большой базе, которая
связывает темы и слова с подходящими
страницами.
Индекс можно сравнить с указателем в конце
книги. Читатель не перечитывает все страницы,
чтобы найти слово: он обращается к указателю и
затем переходит к нужным местам. Так же и
поисковик при запросе прежде всего обращается к
заранее подготовленной карте веба, а не начинает
заново просматривать весь интернет.
Что может учитываться
содержание и тема страницы;
структура документа;
доступность содержимого;
дубликаты и похожие страницы;
свежесть информации.
Не каждая обнаруженная страница проходит все
этапы обработки. Индекс — это организованное
представление доступной поисковику
информации, а не буквальная копия всего веба.
Источники 1–3 — Google Search, Google Search Central.

5.

ОСНОВНАЯ ЧАСТЬ · ЭТАП 03
3. Обработка запроса и ранжирование
Запрос → смысл → подходящие
страницы → порядок результатов
Логика выдачи
Получив запрос, поисковик определяет его смысл и подбирает релевантную часть
индекса. Одни и те же слова могут использоваться в разных контекстах, поэтому
системе важно учитывать не только совпадение отдельных терминов, но и то, какую
информацию, вероятно, ищет пользователь.
Затем страницы сравниваются по множеству сигналов. Среди них — соответствие
запросу, полезность и качество содержания, свежесть, язык, контекст и другие
характеристики. Эти признаки работают вместе и помогают сформировать
упорядоченный список страниц и дополнительных элементов выдачи.
Почему нет одного универсального показателя
Положение страницы определяется совокупной работой множества систем. Нельзя
свести его к одному числу, которое одинаково объясняет любую выдачу.
01
02
03
Смысл
Соответствие
Контекст
Что означает запрос.
Какие страницы отвечают
теме.
Язык, свежесть и ситуация.

6.

ИТОГ
Заключение
Быстрый ответ строится заранее, а не возникает в момент запроса.
Поисковик не ищет весь интернет заново в момент
запроса. Он заранее строит карту веба: обнаруживает
страницы, анализирует их и сохраняет сведения в индексе.
После этого система сопоставляет запрос с индексом и
выбирает наиболее полезные результаты.
Таким образом, быстрый поиск — это сочетание
непрерывного сканирования, сложного индексирования и
ранжирования. Понимание этой последовательности
помогает объяснить, почему опубликованная страница
может появиться в поиске не сразу и почему её место в
выдаче зависит от множества факторов.
01
Страница обнаружена
Робот узнаёт об URL через
ссылки, карту сайта или
повторный обход.
02
Сведения сохранены
Содержание и признаки
страницы становятся
частью индекса.
03
Результат выбран
Запрос сопоставляется с
индексом, а страницы
получают порядок.
Практический вывод.
Опубликованная страница может
появиться в поиске не сразу, а её
место в выдаче зависит от
множества факторов, а не от одного
универсального правила.