Похожие презентации:
Neural Networks for Information Retrieval
1.
Neural Networks forInformation Retrieval
Владимир Гулин
2.
Word embeddings andconvolution neural networks
for NLP
3.
Semantic Level NLP➢
Поиск синонимов
➢
Ответы на вопросы
➢
Чат боты
➢
Машинный перевод
➢
Построение аннотаций
➢
….
4.
Word-based NLPКлассический подход:
• Перенумеровываем слова
(“один”,”два”)
• Используем one-hot encoding
‘dog’
xмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень: [0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]
Проблема: ||xмальчик - xпарень|| = ||xпарень - xолень||
Решение: компактные представления
‘cat’
5.
Word-based NLPxмальчик: [0 0 0 0 1 0 0 0 0 ]
xпарень: [0 0 0 0 0 0 1 0 0 ]
xолень: [0 1 0 0 0 0 0 0 0 ]
‘dog’
‘cat’
Проблема: Очень высокая размерность пространства
Костыль 1: Лемматизация (“Парни -> парень”, “Шёл” ->”Идти”)
Side-effect 1: Лемматизация приводит к потере информации
Костыль 2: Заменить редкие слова заглушкой
Side-effect 2: Во многих задачах редкие слова крайне информативны
6.
Дистрибутивная гипотезаГипотеза:
Лингвистические единицы, встречающиеся в схожих контекстах, имееют
близкие значения.
Вывод:
Значит, представления слов, можно построить с помощью контекстов, в
которых эти слова употребляются.
7.
Word2Vec (2013)Архитектуры CBOW и Skip-gram
8.
CBOW (Continious Bag of Words)9.
Skip-gram10.
Skip-gramОптимизируем
11.
Skip-gramВычисление вероятностей выходных слов
12.
Negative samplingИдея:
13.
Свойства выученных представленийvec(“man”) - vec(“king”) + vec(“woman”) = vec(“queen”)
14.
Пример модели15.
Doc2vec (Mikolov, 2014)➢
➢
Обобщение word2vec на целые документы (фразы,
предложения и т.д.)
Преобразует текст произвольной длины в вектор
фиксированного размера
➢
Distributed Memory (DM)
➢
Distributed Bag of Words (DBOW)
16.
Doc2vec (Mikolov, 2014)Distributed Memory (DM)
17.
Doc2vec (Mikolov, 2014)Distributed Bag of Words (DBOW)
18.
Character-level ConvNetTrained for text classification
19.
Векторное представление текста как изображения20.
Convolutional Neural Networks for Sentence ClassificationОбычная сверточная сеть, проинициализированная word2vec
представлениями слов
21.
Neural networks forrecommendation systems
22.
Рекомендательные системы23.
E-commerce24.
Recommender systems - The task➢ Нужно построить модель,
предсказывающую насколько user
нравятся items
➢ У типичной рекомендательной системы
имеется:
○ Матрица users и items
○ Рейтинги, отражающие их
прошлые предпочтения
○ Задача состоит в предсказании
будущих предпочтений
➢ В общем случае, все НЕ
ограничивается предсказанием
рейтинга
25.
Approaches to recommender systems➢
➢
Collaborative filtering
Основан на анализе предпочтений пользователей таких как
рейтинги фильмов, лайки и т.д.
Content-based filtering
Основан на матчинге представлений items и users
Пользовательский профиль может представляться
предыдущими рейтингами, посещенными страницами в
интернете, поисковыми запросами и т.д.
➢
A hybrid approach
26.
Matrix factorization27.
A feed-forward neural network view28.
Pytorch example29.
Factorization Machines30.
Factorization Machines as Neural Network31.
A deeper view32.
Wide and Deep (Google 2016)33.
Нейросетевые архитектуры для CFFNN - FM initialized feed forward neural network
PNN - Product based neural network
34.
DeepFM (2017)35.
DeepFM (2017)36.
Prod2Vec and Item2Vec➢
➢
Prod2Vec & item2vec:
факторизация матрицы
совместной покупки
товаров
Аналог word2vec за
исключением
игнорирования
пространственной
составляющей
Prod2vec skip-gram model
37.
Pandao2Vec➢
Вектора Pandao2Vec отражают семантику
➢
Для них даже (иногда) работают аналогии:
_
Чехол
для
IPhone
+
Стекло
для
IPhone
=
Стекло
для
Samsung
Чехол
для
Samsung
38.
Pandao2VecТоп 1000 товаров
39.
Neural networks forinformation retrieval
40.
Задача ранжирования в поиске41.
Поиск42.
Vector space ranking model43.
BM2544.
Классические модели45.
Векторная модель46.
Векторная модель47.
Векторная модель48.
Latent Semantic Analysis49.
Dual Embedding Space Model (DESM)50.
Dual Embedding Space Model (DESM)51.
Dual Embedding Space Model (DESM)52.
Dual Embedding Space Model (DESM)53.
Lexical and Semantic matching➢
➢
➢
Традиционные модели инфопоиска работают исключительно на
лексическом матчинге
Representation модели могут учитывать как все термы
документа соотносятся с запросом
И те и другие могут быть смоделированы с помощью
нейросетей
54.
Инструмент55.
Deep Structured Semantic Model (DSSM) (2013)56.
Deep Structured Semantic Model (DSSM) (2013)Collisions
Learning
57.
DSSM в яндексе58.
DSSM в яндексеЗапрос: [келлская книга]
59.
DSSM в яндексеЗапрос: [евангелие из келлса]
60.
DSSM в яндексеЗапрос: [рассказ в котором раздавили бабочку]
61.
Interaction matrix based approaches62.
MatchPyramid➢
➢
Сверточные слои поверх interaction matrix
между запросом и документом
После конволюций полносвязные слои
63.
MatchPyramid64.
Duet Model➢
Совместно тренируем 2 подсетки,
сфокусированные на лексическом и
семантическом матчинге