Методы сбора и обработки данных при помощи Python. Урок 5

1.

Методы сбора и обработки данных при
помощи Python
Урок 5
СУБД MongoDB
Краткий обзор технологий для понимания
сбора и обработки данных

2.

План урока
1) SQL и NoSQL
2) Что такое MongoDB и почему именно она
3) Структура данных в MongoDB
4) Установка MongoDB на примере Win 7
5) Работа с MongoDB из консоли
1. 6) Работа с MongoDB в Python

3.

SQL и NoSQL

4.

SQL
Atomicity – атомарность;
Consistency – согласованность;
Isolation – изолированность;
Durability – устойчивость.

5.

NoSQL
● Ключ-значение (Redis, Berkeley DB).
● Документоориентированные (MongoDB,
CouchDB).
● Графовые (Giraph, Neo4j).
● BigTable (HBase, Cassandra).

6.

NoSQL

7.

SQL

8.

Примеры запросов
Найти все статьи из таблицы posts с тегом politics, за которые
проголосовало более 10 посетителей
SQL:
Mongo:

9.

Что такое MongoDB и почему
именно она?
● Скорость разработки.
● Нет необходимости в поддержке схемы и в коде, и
в БД.
● Легкая масштабируемость.
● Гибкость при смене задачи.
● Удобство работы с денормализованными данными.

10.

Что такое MongoDB и почему
именно она?
● Данные быстро меняются (дополнительные
данные из API, динамический контент в HTMLстраницах).
● Меняя схему, надо менять и приложение, и БД.
● БД нужна лишь до тех пор, пока нужны данные.
● Данные постоянно обновляются.
● Нормализация не нужна.
● Задача не меняется.
● Одно приложение.

11.

Структура данных MongoDB
{
}
_id: DOC_ID,
sid: 1,
sources: [{
name: "Source #1 Name",
description: "Source #1 Description",
uri: "https://source1.com"
},
{
name: "Source #3 Name",
description: "Source #3 Description",
uri: "https://source1.com",
}],
children: [{
sid: "2",
level: 3,
nest_level: 1
}],
group_name: "Group1",
owner: {
sid: 1,
fullname: "Ivanov Ivan",
}

12.

Структура данных MongoDB
{
}
_id: DOC_ID,
sid: 1,
group_name: "Group1",
owner_id: 1

13.

Структура данных MongoDB
{
},
{
}
_id: SOURCE_ID,
doc_id: DOC_ID,
name: "Source #1 Name",
description: "Source #1 Description",
uri: "https://source1.com"
_id: SOURCE_ID,
doc_id: DOC_ID,
name: "Source #3 Name",
description: "Source #3 Description",
uri: "https://source1.com",

14.

Структура данных MongoDB
{
}
_id: CHILD_ID,
doc_id: DOC_ID,
sid: "2",
level: 3,
nest_level: 1

15.

Структура данных MongoDB
{
}
_id: OWNER_ID,
doc_id: DOC_ID,
sid: 1,
fullname: "Ivanov Ivan",

16.

Домашнее задание
1) Развернуть у себя на компьютере/виртуальной
машине/хостинге MongoDB и реализовать функцию,
записывающую собранные объявления с avito.ru в созданную
БД (xpath/BS для парсинга на выбор)
2) Написать функцию, которая производит поиск и выводит на
экран объявления с ценой меньше введенной суммы
● *Написать функцию, которая будет добавлять в вашу
базу данных только новые объявления

17.

Ваши вопросы?