Лекция 2 Инф-поиск. системы

1.

Лекция №2 1.3 Информационнопоисковые системы
Как работает поиск в интернете — от запроса до результата.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ФИЛОСОФИЯ ИНФОРМАЦИИ

2.

Информационная среда
современного общества
Массивы информации, необходимые для развития общества, принципиально
отличаются от тех, что были доступны несколько десятилетий назад. Сегодня не
существует ярко выраженных центров сосредоточения знаний.
Рассредоточение
источников
Библиотеки, архивы и базы данных
воспринимаются не как отдельные
узлы, а как совокупность
множества источников.
Динамическая природа
Сложность — не только в объёме,
но и в постоянном обновлении
«информации о наличии
информации».
Роль поисковых систем
Эффективное использование Интернета невозможно без развитых
информационно-поисковых систем (ИПС).

3.

Модели хранения информации
Недостатки традиционных моделей
При больших объёмах информации и высокой скорости обновления обе модели имеют
существенные ограничения:
• Многоуровневая рубрикация и простановка ссылок выполняются
высококвалифицированными специалистами — объём обработанных документов
ограничен
• Связанные документы ограничены определённой предметной областью, которая
может по-разному трактоваться составителем и пользователем
• При поиске целесообразно просматривать множество документов, содержащих
лишь ссылки на другие ресурсы
ИПС лишены этих недостатков: будучи созданными, они работают автономно.

4.

Принципы работы информационно-поисковой системы
Индексиров
ание
Формулиро
вка запроса
Сопоставлен
ие
Выдача
результатов
Поиск происходит не по тексту документов, а по их поисковым образам, составленным на информационно-поисковом языке (ИПЯ). Качество системы
зависит прежде всего от качества ИПЯ. Совокупность терминов индексирования образует словарь, а массив указателей — индексную базу.

5.

Информационно-поисковый язык (ИПЯ)
1
2
3
4
5
Словарь индексационных терминов
Множество терминов индексирования
Кодовый словарь
Множество кодовых терминов
Словарь входов
Множество входных терминов
Вспомогательные средства
Для расширения или сужения понятий
Правила использования
Регламент применения языка
Контролируемый словарь
Для повышения эффективности поиска словарь должен быть
контролируемым — организованным так, чтобы полнота и точность
поиска были оптимальными.
Организация словаря зависит от:
предметной области ИПС
характера интересов пользователей
степени их подготовки
Избыточное индексирование дополняет поисковый образ
связанными терминами, увеличивая полноту, но снижая
точность.

6.

Процедура поиска: итеративный
процесс
Поиск — процедура итеративная: за выдачей результатов следует коррекция запроса,
новый поиск и снова оценка. Коррекция может выполняться как пользователем, так и
самой системой.
Формулировка запроса
Первичный запрос с использованием логических операторов И, ИЛИ, НЕ
Оценка результатов
Анализ количества и релевантности найденных документов
Коррекция запроса
Переход к более общим или специфичным терминам, использование
родственных понятий
Повторный поиск
Система ищет документы с терминами из отмеченных пользователем
результатов

7.

Поисковые системы Интернета
Три компонента поисковой системы
Поисковый робот
Индекс системы
Непрерывно обходит веб-
Таблица «слово — адрес
адреса, индексирует слова и
документа»; поиск ведётся не
обновляет базу данных
в Интернете, а в готовой базе
Классификатор
Обрабатывает запрос, извлекает ссылки и сортирует их по убыванию
релевантности

8.

Средства поиска информации в Интернете
Поисковые системы
Индексированные
каталоги
Метапоисковые
системы
Рейтинги и топы
Google, Яндекс, Bing —
Тематические рубрики,
Запрашивают данные у
посещаемых ресурсов по
поиск конкретных
отобранные специалистами.
нескольких поисковых
тематике. Высокая
документов по ключевым
Эффективны при широкой
сайтов одновременно и
посещаемость
словам. Используются при
теме, когда важны качество
предоставляют сводный
свидетельствует о
узко сформулированной
и структура, а не
результат. Рекомендуются,
качественном содержании и
теме и наличии
количество результатов.
когда документов по
надёжности сайта.
квалификации в сложных
запросах.
запросу мало.
Списки наиболее

9.

Новая парадигма:
генеративный ИИ в поиске
Революционные изменения 2020-х гг. связаны с интеграцией больших языковых
моделей (LLM) в информационный поиск. Системы ChatGPT, Gemini, Claude,
Perplexity AI берут на себя функцию «аналитика», а не «библиотекаря».
Классическая ИПС
Указывает, где лежит нужная информация — список ссылок для
самостоятельного изучения
ИИ-ассистент
Читает, обобщает, сравнивает источники и предоставляет готовый
синтезированный ответ
Ключевое отличие — переход от поиска по ключевым словам к диалоговому
взаимодействию на естественном языке. Качество результата напрямую зависит
от качества промпта (промпт-инжиниринг).

10.

Информационно-поисковая система (ИПС)
Определение
Информационно-поисковая система (ИПС) — это комплекс программ и
технологий для поиска, хранения и выдачи информации по запросу
пользователя.
«Библиотекарь для миллиардов страниц» — ИПС знает, где что
лежит, даже когда всё перепутано.
Поиск — не только в браузере. YouTube, Telegram, маркетплейсы, соцсети —
всё это ИПС.

11.

Три этапа работы поисковика
Между вашим запросом и результатом происходит огромная невидимая работа. Поисковая система проходит три
последовательных этапа, прежде чем показать ответ.
Каждый этап обрабатывает миллиарды страниц — и всё это за доли секунды.

12.

Этапы 1 и 2: Сканирование и Индексация
Сканирование
(краулинг)
Индексация
Система создаёт «алфавитный
Поисковые роботы («пауки»)
указатель» интернета: для
круглосуточно обходят сайты
каждого слова — список
по ссылкам. Нет ссылок —
страниц, где оно встречается.
робот не найдёт сайт.
Чем точнее запрос, тем
Отправить на индексацию
меньше страниц, но тем
можно вручную через
релевантнее результат.
Яндекс.Вебмастер или Google
Search Console.

13.

Этап 3: Ранжирование
Поисковик нашёл миллион страниц — но показывает только 10 на первой странице. Как он выбирает?
1
2
3
Релевантность
Авторитетность
Свежесть
Соответствие страницы запросу
Количество ссылок с других сайтов
Как давно обновлялась страница
4
5
Поведение
Качество
Кликают ли люди и остаются ли на сайте
Уникальный текст или копия
Первые 3 ссылки получают 70% всех кликов. Первые 2–3 результата часто помечены «Реклама» — за показ заплатили.

14.

Виды поисковых систем
Универсальные
Специализированные
Ищут всё: тексты, картинки,
видео, карты
Ищут один тип информации
Google, Яндекс, Bing
YouTube (видео), Кинопоиск
(фильмы), Avito (товары)
Метапоисковики
Опрашивают несколько систем и объединяют результаты
DuckDuckGo, MetaGer

15.

Операторы поиска: ищите как профессионал
Большинство людей пишут «как починить кран» и получают миллион бесполезных ссылок. Профессионалы используют операторы
— специальные команды для уточнения запроса.
Оператор
Что делает
Пример
"..."
Ищет точную фразу
"ремонт крана своими руками"
-
Исключает слово
краны -нефтяные
site:
Ищет только на сайте
site:gov.ru законы
filetype:
Ищет файлы типа
filetype:pdf реферат
OR
Ищет любое из слов
купить OR арендовать
*
Заменяет слово
как * кран

16.

Практика: ищем вместе
Официальный документ
1
Закон о защите прав потребителей — только на сайте правительства
site:gov.ru закон о защите прав потребителей
Реферат в PDF
2
Найти научную работу в нужном формате
filetype:pdf реферат физика
Точная цитата
3
Найти высказывание Эйнштейна дословно
"Воображение важнее знания"
Исключить тему
4
Ремонт сантехники без нефтяной темы
как починить кран -нефтяной
Варианты запроса
5
Покупка или аренда жилья
купить OR арендовать квартиру Москва
Расширенный поиск без операторов: yandex.ru/search/advanced и google.com/advanced_search

17.

Критическая оценка: алгоритм «5 вопросов»
Пример разбора
Сайт утверждает: «Учёные доказали, что кофе убивает»
Автор неизвестен, сайт «Здоровье-народ.рф»
Дата — 2015 год, информация устарела
Ссылок на источники нет
Мнение, вырванное из контекста
ВОЗ: кофе в умеренных дозах безопасен
Вывод: это фейк. Всегда проверяйте источник по всем 5 вопросам.

18.

Итоги: вы теперь умеете искать
ИПС
Поиск + хранение + выдача информации
Три этапа
Краулинг → Индексация → Ранжирование
Операторы
"...", -, site:, filetype:, OR, *
Проверка
5 вопросов к любому источнику
Поисковик — это инструмент. Как молоток: можно забить гвоздь, а можно ударить по
пальцу. Всё зависит от того, умеете ли вы им пользоваться. Теперь вы умеете.