8.86M
Категория: ИнформатикаИнформатика

Neural Networks for Information Retrieval

1.

Neural Networks for
Information Retrieval
Владимир Гулин

2.

Word embeddings and
convolution neural networks
for NLP

3.

Semantic Level NLP

Поиск синонимов

Ответы на вопросы

Чат боты

Машинный перевод

Построение аннотаций

….

4.

Word-based NLP
Классический подход:
• Перенумеровываем слова
(“один”,”два”)
• Используем one-hot encoding
‘dog’
xмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень: [0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]
Проблема: ||xмальчик - xпарень|| = ||xпарень - xолень||
Решение: компактные представления
‘cat’

5.

Word-based NLP
xмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень: [0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]
‘dog’
‘cat’
Проблема: Очень высокая размерность пространства
Костыль 1: Лемматизация (“Парни -> парень”, “Шёл” ->”Идти”)
Side-effect 1: Лемматизация приводит к потере информации
Костыль 2: Заменить редкие слова заглушкой
Side-effect 2: Во многих задачах редкие слова крайне информативны

6.

Дистрибутивная гипотеза
Гипотеза:
Лингвистические единицы, встречающиеся в схожих контекстах, имееют
близкие значения.
Вывод:
Значит, представления слов, можно построить с помощью контекстов, в
которых эти слова употребляются.

7.

Word2Vec (2013)
Архитектуры CBOW и Skip-gram

8.

CBOW (Continious Bag of Words)

9.

Skip-gram

10.

Skip-gram
Оптимизируем

11.

Skip-gram
Вычисление вероятностей выходных слов

12.

Negative sampling
Идея:

13.

Свойства выученных представлений
vec(“man”) - vec(“king”) + vec(“woman”) = vec(“queen”)

14.

Пример модели

15.

Doc2vec (Mikolov, 2014)


Обобщение word2vec на целые документы (фразы,
предложения и т.д.)
Преобразует текст произвольной длины в вектор
фиксированного размера

Distributed Memory (DM)

Distributed Bag of Words (DBOW)

16.

Doc2vec (Mikolov, 2014)
Distributed Memory (DM)

17.

Doc2vec (Mikolov, 2014)
Distributed Bag of Words (DBOW)

18.

Character-level ConvNet
Trained for text classification

19.

Векторное представление текста как изображения

20.

Convolutional Neural Networks for Sentence Classification
Обычная сверточная сеть, проинициализированная word2vec
представлениями слов

21.

Neural networks for
recommendation systems

22.

Рекомендательные системы

23.

E-commerce

24.

Recommender systems - The task
➢ Нужно построить модель,
предсказывающую насколько user
нравятся items
➢ У типичной рекомендательной системы
имеется:
○ Матрица users и items
○ Рейтинги, отражающие их
прошлые предпочтения
○ Задача состоит в предсказании
будущих предпочтений
➢ В общем случае, все НЕ
ограничивается предсказанием
рейтинга

25.

Approaches to recommender systems


Collaborative filtering
Основан на анализе предпочтений пользователей таких как
рейтинги фильмов, лайки и т.д.
Content-based filtering
Основан на матчинге представлений items и users
Пользовательский профиль может представляться
предыдущими рейтингами, посещенными страницами в
интернете, поисковыми запросами и т.д.

A hybrid approach

26.

Matrix factorization

27.

A feed-forward neural network view

28.

Pytorch example

29.

Factorization Machines

30.

Factorization Machines as Neural Network

31.

A deeper view

32.

Wide and Deep (Google 2016)

33.

Нейросетевые архитектуры для CF
FNN - FM initialized feed forward neural network
PNN - Product based neural network

34.

DeepFM (2017)

35.

DeepFM (2017)

36.

Prod2Vec and Item2Vec


Prod2Vec & item2vec:
факторизация матрицы
совместной покупки
товаров
Аналог word2vec за
исключением
игнорирования
пространственной
составляющей
Prod2vec skip-gram model

37.

Pandao2Vec

Вектора Pandao2Vec отражают семантику

Для них даже (иногда) работают аналогии:
_
Чехол
для
IPhone
+
Стекло
для
IPhone
=
Стекло
для
Samsung
Чехол
для
Samsung

38.

Pandao2Vec
Топ 1000 товаров

39.

Neural networks for
information retrieval

40.

Задача ранжирования в поиске

41.

Поиск

42.

Vector space ranking model

43.

BM25

44.

Классические модели

45.

Векторная модель

46.

Векторная модель

47.

Векторная модель

48.

Latent Semantic Analysis

49.

Dual Embedding Space Model (DESM)

50.

Dual Embedding Space Model (DESM)

51.

Dual Embedding Space Model (DESM)

52.

Dual Embedding Space Model (DESM)

53.

Lexical and Semantic matching



Традиционные модели инфопоиска работают исключительно на
лексическом матчинге
Representation модели могут учитывать как все термы
документа соотносятся с запросом
И те и другие могут быть смоделированы с помощью
нейросетей

54.

Инструмент

55.

Deep Structured Semantic Model (DSSM) (2013)

56.

Deep Structured Semantic Model (DSSM) (2013)
Collisions
Learning

57.

DSSM в яндексе

58.

DSSM в яндексе
Запрос: [келлская книга]

59.

DSSM в яндексе
Запрос: [евангелие из келлса]

60.

DSSM в яндексе
Запрос: [рассказ в котором раздавили бабочку]

61.

Interaction matrix based approaches

62.

MatchPyramid


Сверточные слои поверх interaction matrix
между запросом и документом
После конволюций полносвязные слои

63.

MatchPyramid

64.

Duet Model

Совместно тренируем 2 подсетки,
сфокусированные на лексическом и
семантическом матчинге

65.

Duet Model

66.

Duet Model

67.

Duet Model (Результаты)
English     Русский Правила