06.+Obrabotka+estestvennogo+jazy'ka.+BJAM

1. Обработка естественного языка

Подготовка данных для машинного обучения
Лекция 6 из 8
Кемерово 2026

2. Обработка естественного языка

Обработка естественного языка (Natural Language
Processing, NLP) - направление ИИ, которое
изучает вопросы автоматического анализа и
генерации текста на естественном языке
Важно: речь задается в текстовом виде.
Восприятие, распознавание и синтез устной речи
рассматривается в других областях ИИ
Кафедра
Цифровых технологий
2

3. Обработка естественного языка

Что понимается под «языком»?
• Язык — сложная знаковая система, естественно
или искусственно созданная и соотносящая
понятийное содержание и типовое звучание
(написание).
Язык
Понятие
Написание
Кафедра
Цифровых технологий
3

4. Какие языки бывают

Английский
Языки
Естественные
Немецкий
Сложились в процессе
развития человеческой
цивилизации
Русский
….
Нотная грамота
Искусственные
Были созданы для
профессионального
применения в
отдельных областях
Химические формулы
Языки программирования
…
Кафедра
Цифровых технологий
4

5. Какие языки бывают

• Естественный язык - сложная система, которая не
подчиняется жёсткому описанию с помощью правил:
• Огромное количество правил и исключений;
• Тысячи слов, которые являются символами (по их звучанию
нельзя догадаться, что они обозначают вне контекста
применения).
• Искусственный язык - часто формальный, каждое слово
имеет единственный смысл, а правила формирования и
записи слов соблюдаются без исключений.
Кафедра
Цифровых технологий
5

6. С чем связаны проблемы обработки языка

• Проблема 1. Семантика: в поисках смысла
Язык — это не только система правил, но и исключений. Это также
эмоции, жесты, культурный и бытовой контекст, метафоры, игра слов
или сарказм.
Язык синонимичен и многозначен.
Например, сложно математически выразить нюансы фразы с
омонимами: «График (в смысле "Художник") не вписался в график (в
смысле "план")».
Кафедра
Цифровых технологий
6

7. С чем связаны проблемы обработки языка

• Проблема 1. Семантика: в поисках смысла
Еще примеры:
"За песчаной косой лопоухий косой пал под острой косой косой бабы
с косой"
"Мы отдали бананы обезьянам, потому что они были голодными"
"Мы отдали бананы обезьянам, потому что они были перезрелыми"
"Джон не видел сцену из-за стоявшего перед ним Билли, потому что
он был очень маленького роста"
А иногда предложения имеют идеальный синтаксис, но
не имеют смысла:
"Цыплята экстравагантно плывут, пока луна пьет чай"
Кафедра
Цифровых технологий
7

8. С чем связаны проблемы обработки языка

• Проблема 2. Определение эмоций и тональности
Алгоритмам сложно научиться понимать тональность текстов, видеть в
них сарказм и иронию.
Тональность можно представить в виде функции или суммы тональностей
предложений и слов.
Некоторые слова меняют эмоциональную окраску в зависимости от
контекста. Но многие слова выражают одни и те же чувства в
большинстве контекстов. Например, слова «отлично» и «торт» обычно
положительны, «смерть» и «депрессия» — отрицательны.
Эти ассоциации называются предшествующими. Системы анализа
настроений выигрывают от знания этих предшествующих ассоциаций.
Списки ассоциаций были созданы путем ручного аннотирования (очень
дорогостоящего). Автоматические методы
используют вручную
созданные списки в качестве базовых.
Кафедра
Цифровых технологий
8

9. С чем связаны проблемы обработки языка

• Проблема 3. Кросс-языковая морфология и
малоресурсные языки
Компьютеры понимают не все языки одинаково хорошо. Лучше всего
нейросети работают с популярных языками с фиксированной
структурой (например, английским).
Также важно учитывать количество описанных слов, наличие текстов
в разных жанрах для обработки (книги, журналы, пресса), наличие
тезаурусов и словарей с аннотированными текстами.
Всего ~20 языков (из более 7000) подготовлены для работы с
нейросетями. Хорошо обработаны западноевропейские языки,
китайский и японский. Отсутствуют ресурсы для многих африканских и
азиатских, а также вымирающих языков и местных диалектов.
Практически невозможно обработать языки без письменности.
Кафедра
Цифровых технологий
9

10. Национальный корпус русского языка (https://ruscorpora.ru/)

В лингвистике под языковым корпусом в самом широком
смысле понимается собрание текстов на каком-либо
языке, специально предназначенное для изучения этого
языка. Помимо собственно текстов, такие собрания
обычно содержат дополнительную информацию, важную
для исследований, – разметку, или аннотацию.
Национальный корпус русского языка (НКРЯ) - коллекция
текстов на русском языке общим объемом более 2 млрд
слов.
Сайт Корпуса был открыт для свободного доступ 29 апреля
2004 года. Но работы по созданию НКРЯ начались
значительно раньше, еще в 2000 году группой филологов из
Москвы, Санкт-Петербурга, Воронежа и других городов.
Кафедра
Цифровых технологий
10

11. Структурные элементы языка

Отдельные символы
Буквы, знаки препинания, пробелы
Отдельные морфемы
- части слова
Корни, приставки, суффиксы, окончания. Очень
специфичны, сильно меняются в разных языках
Отдельные слова
Каждое слово несет в себе конкретный смысл, а
их самих не так много в языке.
Предложения, абзацы Их анализ часто сводится к анализу значения
и целые тексты на
отдельных слов
естественном языке
Кафедра
Цифровых технологий
11

12. Встречайте - «Токены»!

Как закодировать предложение
“I was reading an interesting book in New York” ?
Кафедра
Цифровых технологий
12

13. Задачи, решаемые с помощью NLP

Кафедра
Цифровых технологий
13

14. Задачи, решаемые с помощью NLP

1. Классификация текста. Примеры:
• Фильтрация «токсичных» комментариев в соцсетях (токсичный /
нетоксичный комментарий)
• Фильтрация спама в почте (спам / не спам)
• Фильтрация фейк-ньюс (истина / ложь)
• Отслеживание отзывов на товар (позитивный / негативный)
С помощью классификации текстов решаются более сложные
задачи, например, сценарий общения с голосовым
помощником в телефоне:
Классифицировано:
тема разговора погода
Кафедра
Цифровых технологий
14

15. Задачи, решаемые с помощью NLP

2. Языковое моделирование и генерация текста
Человек строит свою языковую модель в раннем детстве, когда
учится говорить. На протяжении всей остальной жизни она помогает
нам предугадывать текст или понимать, что собеседник говорит
неправильно.
В программировании языковая модель ― это алгоритм, который
позволяет вычислить вероятность появления в предложении того
или иного слова. Она умеет прогнозировать вероятность
расположения слов в предложении или фразе и на основе этого
формировать ответ на ваш вопрос.
Для построения языковой модели сейчас чаще всего применяют
нейросетевой подход.
Кафедра
Цифровых технологий
15

16. Задачи, решаемые с помощью NLP

3. Машинный перевод
Методы глубокого обучения сделали автоматический перевод не
механическим, а таким, будто компьютер понимает смысл фраз на языке
оригинала. Система не переводит каждое слово отдельно. Машинный
интеллект анализирует смысл целой фразы или предложения, «видит» знаки
препинания, части речи и их связь. Затем он переводит фразу на целевой язык.
Полученная при анализе и переводе информация сопоставляется,
интерпретируется, после чего формируется результат — последовательность
слов с тем же смыслом, но на другом языке. При этом алгоритм должен
учитывать правила построения языков, согласование слов между собой, их
место в предложении, правильно использовать рода, склонения, числа и так
далее. Так работает модель перевода по правилам.
Другой способ — перевод по фразам. Система без дополнительных этапов
анализа формирует несколько вариантов перевода и выбирает оптимальный
на основе выученных вероятностей использования.
Кафедра
Цифровых технологий
16

17. Задачи, решаемые с помощью NLP

4. Построение диалоговых систем
Активно используются в голосовых помощниках и
автоответчиках
5. Вспомогательные задачи
• Распознавание именованных сущностей (Named Entity
Recognition)
• Выделение частей речи (Part of Speech Tagging)
Кафедра
Цифровых технологий
17

18. Named Entity Recognition (NER) Распознавание именованных сущностей

Задача - выделить из текста некоторые значимые
сущности, определить их типы (имена, места, организации
и т.д.). Например:
«Саша живет в Саратове с 2020 года»
имя собственное
место
отметка времени
Применение: для быстрой классификации текстов по
категориям
Кафедра
Цифровых технологий
18

19. Named Entity Recognition (NER) Распознавание именованных сущностей

Договоры услуг
Договоры аренды
Договоры купли-продажи
Кафедра
Цифровых технологий
19

20. Как научить компьютер понимать естественный человеческий язык?

ТЕКСТ
Для этого необходимо научиться
обрабатывать текстовые данные в
форме чисел, понятных компьютерам.
ЧИСЛА
После преобразования текстовых данных
в числовые мы сможем использовать
методы машинного обучения, чтобы
обрабатывать данные, находить
сходства, группировать тексты вместе,
проводить анализ настроения
изложенного и многое другое!
Кафедра
Цифровых технологий
20

21. Автоматический анализ естественного языка

Для автоматической обработки естественного языка
необходимо строить сложные системы на основе ИИ.
Простые формальные математические системы здесь
работать не будут.
Тем не менее, с помощью методов машинного обучения
можно:
•Выделить основные составляющие текста
•Описать этапы анализа содержания для того, чтобы
добиться понимания смысла естественного языка.
Кафедра
Цифровых технологий
21

22. Как преобразовать текстовые данные в числовые?

Эмбеддинги
Кафедра
Цифровых технологий
22

23. Гипотеза: смысл слова определяется контекстом, в котором оно встречается

Если слово часто звучит в разных контекстах, то можно
быстро понять его смысл. Например:
Бутылка тесгуино стоит на столе
Тесгуино подают холодным
Тесгуино деляют из кукурузы
Взрослые люди пьют тесгуино, когда
отдыхают и веселятся
Что такое «тесгуино»?
Кафедра
Цифровых технологий
23

24. Ответ

Кукурузное пиво
Кафедра
Цифровых технологий
24

25. Задание

• Есть несколько предложений, в которых
пропущено одно и то же слово. Сможете ли вы
догадаться, что это за слово?
Маша едет на __________________ .
Колесо у ______________ оказалось проколото.
У ______________ красивая белая рама.
Зимой Маша хранит ___________ на балконе.
Кафедра
Цифровых технологий
25

26. Векторные представления слов

Эмбеддинг, от англ. `embedding - «вложение» представление слова в виде вектора чисел. Этот вектор
содержит в себе информацию о значении слова, о том,
как оно употребляется в языке.
Другими словами,
смысл слова определяется контекстом, в котором оно
встречается в языке. Эмбеддинг слова должен
инкапсулировать в себе этот смысл.
Слова с близкими смыслами имеют близкие контексты,
следовательно, имеют близкие эмбеддинги.
(гипотеза распределения слов в лингвистике)
Кафедра
Цифровых технологий
26

27. Векторные представления слов

Современные методы построения эмбеддингов основаны
на кодировании контекста, в котором встречается слово.
Эмбеддинги слов, близких по смыслу, должны быть
близкими векторами, т.е. чтобы модуль разности между
ними был маленьким.
Варкалось. Хливкие шорьки
Пырялись по нове,
И хрюкотали зелюки,
Как мюмзики в мове.
Льюис Кэрролл,
«Алиса в Зазеркалье»,
1871
Статья «Что такое эмбеддинги и как с ними работать. Вводная для начинающих»
https://habr.com/ru/articles/947216/
Кафедра
Цифровых технологий
27

28. Векторные представления слов

Векторное представление слов — это кодирование слов
текста с помощью числовых векторов.
• Преобразуем весь текст в последовательность токенов - минимальных
единиц текста, с которыми удобно работать методами NLP;
• Зафиксируем словарь из всех токенов текста;
• Сопоставим каждому токену числовой вектор фиксированной длины эмбеддинг;
• Последовательность токенов превратим в последовательность векторов.
Кафедра
Цифровых технологий
28

29. Составление эмбеддингов слов

Вариант 1: Присвоение каждому слову случайного вектора
Пусть словарь состоит из слов «обработка», «машинное», «обучение»,
«линейная» и «регрессия» — всего 5 слов. Сопоставим с каждым из них
набор из 5 случайных чисел:
обработка
машинное
обучение
линейная
регрессия
0.4
3.2
3.8
-0.6
2.5
-2.7
0.5
-2
4.5
4.9
8.3
-2.1
1
0.8
-7.6
-5
-4.1
4.7
1.3
0.6
4.1
3.5
9.2
3.2
1.7
Этот вариант неоптимальный. Числовые значения эмбеддинга слова,
определяющие его в пространстве слов, должны что-то говорить нам о
смысле слова, которое он кодирует, и о его связях с другими словами.
Здесь этого нет, так как числа взяты случайным образом.
Кафедра
Цифровых технологий
29

30. Составление эмбеддингов слов

Вариант 2: One-hot кодирование
Второй способ основан на кодировании смысла слова. Сопоставим
каждому слову словаря вектор размером 5, состоящий из 4 нулей и 1
единицы — как раз на позиции номера данного слова в словаре.
обработка
машинное
обучение
линейная
регрессия
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
0
0
0
0
0
1
Каждому слову однозначно сопоставлен некоторый вектор.
У данного метода есть важный недостаток. Если в словаре слишком много
слов, то длина каждого вектора тоже будет очень большой.
Кафедра
Цифровых технологий
30

31. Составление эмбеддингов слов

Вариант 3: Bag of Words (BOW)
Алгоритмы, учитывающие частотность слов в тексте:
■ «Мешок слов» (Bag of Words): представление текста в виде массива,
состоящего из отдельных слов и количества их использования. Минус в
том, что теряется вся информация о взаимном расположении слов
внутри текста.
Кафедра
Цифровых технологий
31

32. Составление эмбеддингов слов

Вариант 4: TF-IDF
Алгоритмы, учитывающие частотность слов в тексте:
■ TF-IDF (term frequency–inverse document frequency):
• TF (Term Frequency — частота слова): Отражает, насколько часто
термин встречается в конкретном документе. Рассчитывается как
отношение количества вхождений слова к общему числу слов в
документе.
• IDF (Inverse Document Frequency — обратная частота документа):
Снижает вес широкоупотребляемых слов (например, союзов,
предлогов), встречающихся почти во всех документах, и повышает вес
редких слов.
Кафедра
Цифровых технологий
32

33. Составление эмбеддингов слов

Вариант 4: TF-IDF
Кафедра
Цифровых технологий
33

34. Составление эмбеддингов слов

Вариант 5: Трансформеры
Также для получения векторного представления текста могут использовать
нейронные сети, которые специально обучались для задач работы с текстовыми
данными (чаще всего это нейронные сети с архитектурой трансформер)
Кафедра
Цифровых технологий
34

35. Свойства эмбеддингов

• Связь семантической и
геометрической близости:
Геометрически близкие точки
соответствуют близким по
смыслу словам. Наиболее
близкие друг к другу слова на
семантической карте —
синонимы.
Кафедра
Цифровых технологий
35

36. Свойства эмбеддингов

• Векторная структура отношений между объектами:
Например, если отметить точки, соответствующие словам «король»
и «мужчина», то вектор между ними будет такой же, как между
словами «королева» и «женщина».
В терминологии векторов
queen = king − man + woman
Кафедра
Цифровых технологий
36

37. RusVectōrēs: семантические модели для русского языка

Это сервис, который позволяет исследовать отношения
между словами, «семантический калькулятор».
С помощью RusVectōrēs можно:
− вычислять семантическое сходство между парами слов;
− находить слова, ближайшие к данному;
− решать аналогии вида «найти слово X, которое так относится к
слову Y, как слово A относится к слову B»;
− рисовать семантические карты отношений между словами;
− и многое другое…
Кафедра
Цифровых технологий
37

38. Потренируемся

на листочках
Кафедра
Цифровых технологий
38

39. Задание 1. Корпус слов

Предположим, вы получили текстовую информацию и хотите ее
проанализировать. Давайте начнем с того, что подготовим ее для
компьютера!
Придумайте свой собственный текст, содержащий 3-4 предложения, в
общей сложности 15-20 слов.
На подоконнике дремал рыжий кот, ему снились
бескрайние поляны с бабочками. Ветер тихонько шевелил
занавески, наполняя комнату запахом весеннего дождя.
Вдруг кот приоткрыл один глаз: на столе лежала
забытая долька апельсина.
Кафедра
Цифровых технологий

40. Задание 1. Корпус слов. Этапы обработки текста

Шаг 1. Сегментация предложений. Идея в том, что каждое
предложение содержит законченную мысль.
№
Предложение
1
На подоконнике дремал рыжий кот, ему снились
бескрайние поляны с бабочками.
2
Ветер тихонько шевелил занавески, наполняя комнату
запахом весеннего дождя.
3
Вдруг кот приоткрыл один глаз: на столе лежала
забытая долька апельсина.
Кафедра
Цифровых технологий

41. Задание 1. Корпус слов. Этапы обработки текста

Шаг 2. Токенизация предложений. Разделите ваши
предложения на токены. Как много токенов у вас
получилось?
Токены:
На, подоконнике, дремал, рыжий, кот, , , ему, снились, бескрайние,
поляны, с, бабочками, ., Ветер, тихонько, шевелил, занавески, ,,
наполняя, комнату, запахом, весеннего, дождя, ., Вдруг, кот,
приоткрыл, один, глаз, :, на, столе, лежала, забытая, долька,
апельсина, .
Количество токенов: ___39_____
Кафедра
Цифровых технологий

42. Задание 1. Корпус слов. Этапы обработки текста

Шаг 3. Удаление стоп-слов, специальных символов и
цифр. Выпишите все стоп-слова, специальные символы,
цифры, которые хотите удалить!
Стоп-слова, специальные символы, цифры
на
с
вдруг
на
.
,
:
Кафедра
Цифровых технологий

43. Задание 1. Корпус слов. Этапы обработки текста

Шаг 4. Преобразование токенов в общий регистр.
апельсина
бабочками
бескрайние
весеннего
ветер
глаз
дождя
долька
дремал
ему
забытая
занавески
запахом
комнату
кот
лежала
наполняя
один
поляны
приоткрыл
Кафедра
Цифровых технологий
рыжий
снились
столе
тихонько
шевелил
подоконнике

44. Задание 1. Корпус слов. Этапы обработки текста

Шаг 5. Стемминг – процесс укорачивания слов до их
основы путем отбрасывания приставок, окончаний и
суффиксов.
Выпишите основы слов.
Основы
апельсин, бабочк, бескрайн, весен, ветер, глаз,
дожд, дольк, дрем, ему, забыт, занавеск, запах,
комнат, кот, лежа, наполня, один, полян,
открыл, рыж, снил, стол, тихоньк, шевел
Кафедра
Цифровых технологий

45. Задание 1. Корпус слов. Этапы обработки текста

Шаг 6. Лемматизация – более тонкий процесс, который
использует словарь и морфологический анализ, чтобы в итоге
привести слово к его базовой форме – лемме. Например, в
русском языке базовыми формами считаются:
• для существительных - именительный падеж, единственное число;
• для прилагательных - именительный падеж, единственное число, мужской род;
• для глаголов, причастий, деепричастий - глагол в инфинитиве несовершенного
вида.
Выпишите корневые слова / леммы.
Леммы
апельсин, бабочка, бескрайний, весенний, ветер, глаз, дождь,
долька, дремать, он, забытый, занавеска, запах, комната,
кот, лежать, наполнять, один, поляна, приоткрыть,
рыжий, сниться, стол, тихонько, шевелить.
Кафедра
Цифровых технологий

46.

Поздравляем, вы построили корпус слов по
своему тексту!
Кафедра
Цифровых технологий
46

47. Базовые понятия NLP: Мешок слов

Итак, у нас уже имеется обработанный фрагмент
текста (текст разделен на токены) и это уже ближе
к тому, что может распознать компьютер (числа).
Но пока недостаточно
Компьютерам трудно понять естественный текст, потому что длина
каждого документа может отличаться, а тексты преимущественно не
состоят из чисел.
Поэтому важно найти способ преобразования фрагмента текста из
словоформы в числовую форму
Кафедра
Цифровых технологий

48. Базовые понятия NLP: Мешок слов

«Мешок слов» считает количество различных слов,
которые появляются в каждом документе, и выражает его
в виде вектора (строки чисел).
Таким образом компьютер сможет учиться и делать
прогнозы с помощью этих чисел.
Модель называется «Мешок слов», потому что порядку слов в предложении
не придается особого значения. Для модели текст - это просто набор слов,
без учёта их порядка, структуры предложений или грамматических связей.
Важно только, какие слова встречаются в документе и как часто.
Кафедра
Цифровых технологий

49. Этапы создания мешка слов

1. Сбор данных и их обработка (по той же схеме, что в
задании 1).
2. Создание словаря - список уникальных слов в
имеющихся данных.
3. Создание вектора документа* - необходимо обратиться к
списку уникальных слов и посчитать, сколько раз
появляется каждое слово в одном документе. На этом
шаге наша цель – превратить текст в набор цифр.
4. Повторение описанных действий для всех документов.
*) под документом понимается любая отдельная единица текста, которая анализируется как единое
целое. Это может быть отдельное предложение, абзац, статья, письмо, пост в блоге, отзыв, книга и т. д.
Кафедра
Цифровых технологий

50. Задание 2: Мешок слов, TF-IDF

Слово
Используйте необработанные предложения (так нам
будет проще их воспринимать).
Шаг 1: Сделайте список всех уникальных слов в тексте
(Bag of Words).
Шаг 2: Сосчитайте число документов, где слово
встречается минимум 1 раз и запишите это число
рядом со словом в вашем словаре, чтобы получить
частотность документа (TF).
Шаг 3: Рассчитайте обратную частотность документа
(IDF):
IDF = log10(N / df),
где N - число уникальных слов, df - частота слова
Кафедра
Цифровых технологий
на
кот
подоконнике
дремал
рыжий
ему
снились
бескрайние
поляны
с
бабочками
ветер
тихонько
шевелил
занавески
наполняя
комнату
запахом
весеннего
дождя
вдруг
приоткрыл
один
глаз
столе
лежала
забытая
долька
апельсина
TF
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
IDF
1,161368
1,161368
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
1,462398
50

51. Варианты использования TF-IDF

TF-IDF - это метод выделения ключевых признаков в текстах, он
широко используется для их обработки и анализа.
• Классификация документов: позволяет автоматически
определять тематику текстов и относить их к определённым
категориям.
• Автоматическая маркировка: служит одним из инструментов
для автоматической расстановки меток или тегов к документам.
• Информационный поиск: При поиске по запросу помогает
выделять слова, наиболее точно отражающие суть документа.
Это повышает релевантность выдачи: чем сильнее ключевые
слова связаны с запросом, тем лучше результаты поиска.
• Фильтрация стоп-слов: позволяет автоматически отсеивать
часто встречающиеся, но малозначимые слова, избавляя от
необходимости вручную составлять длинные списки стоп-слов.
Кафедра
Цифровых технологий

52. Сходство между векторами

Кафедра
Цифровых технологий
52

53. Оценки сходства векторов

Каким образом мы можем обнаружить сходство между
двумя векторами?
Для измерения разницы между двумя векторами
используются различные метрики:
• Косинусное сходство - самая распространённая мера. Она
вычисляет косинус угла между двумя векторами и
показывает, насколько они направлены одинаково.
Значения лежат в диапазоне от –1 (противоположные) до
1 (идентичные), а 0 означает ортогональность (нет связи).
Кафедра
Цифровых технологий

54. Оценки сходства векторов

Чем ближе два вектора друг к другу, тем больше значение
косинусного сходства. В массиве TF-IDF каждый документ является
вектором, и мы можем посчитать косинусное расстояние между
ними, чтобы измерить их сходство.
Кафедра
Цифровых технологий

55. Задание 3.

Даны TF-IDF для каждого предложения:
• Документ 1: «Джейн — моя мать»
• Документ 2: «Джон — мой отец»
• Документ 3: «Кто моя мать?»
Определите с помощью косинусного расстояния, какое
предложение наиболее релевантно запросу.
Слово
джейн
мать
моя
TF
0,25
0,25
0,25
IDF
0,4771
0,1761
0,1761
TF-IDF
0,1193
0,044
0,044
Слово
джон
отец
мой
Слово
кто
мать
моя
TF
0,3333
0,3333
0,3333
IDF
0,4771
0,1761
0,1761
Кафедра
Цифровых технологий
TF
0,25
0,25
0,25
IDF
0,4771
0,4771
0,4771
TF-IDF
0,1193
0,1193
0,1193
TF-IDF
0,159
0,0587
0,0587
55

56. Оценки сходства векторов

• Евклидово расстояние - определяет «обычное» расстояние
между точками в пространстве. Чем оно меньше, тем ближе
векторы друг к другу.
• Манхэттенское расстояние - сумма модулей разностей по
координатам; используется реже, но иногда удобнее для
определённых задач.
• Расстояния Хэмминга и Левенштейна - используются для
сравнения строк: первое - по числу различающихся символов,
второе - по минимальному числу правок для превращения
одной строки в другую.
Кафедра
Цифровых технологий