Технологии обработки больших объемов данных. Распределенные системы NoSQL

1.

Большие данные
ФИО лектора
Должность лектора
Контакты лектора

2.

Тема 8. Технологии обработки больших
объемов данных
Распределенные системы
NoSQL
Озера данных
Hadoop, HDFS, Spark, Yarn
Потоки обработки данных
Виды облачных сервисов

3.

Скорость обработки данных

4.

Скорость обработки данных

5.

Скорость обработки данных

6.

Скорость обработки данных

7.

Скорость обработки данных

8.

Распределенная обработка

9.

Распределенная обработка
• Распределённая обработка данных - методика выполнения
прикладных программ группой систем (узлов, компьютеров,
устройств).

10.

Распределенная обработка
• Распределённая обработка данных - методика выполнения
прикладных программ группой систем (узлов, компьютеров,
устройств).
• Пользователь получает возможность работать с сетевыми
службами и прикладными процессами, расположенными в
нескольких взаимосвязанных системах.

11.

Распределенная обработка

12.

Распределенная обработка
Свойства распределенной системы

13.

Распределенная обработка
Свойства распределенной системы
• совместное использование ресурсов;

14.

Распределенная обработка
Свойства распределенной системы
• совместное использование ресурсов;

15.

Распределенная обработка
Свойства распределенной системы
• совместное использование ресурсов;
• совместная обработка;

16.

Распределенная обработка
Свойства распределенной системы
• совместное использование ресурсов;
• совместная обработка;
• масштабируемость;

17.

Типы масштабирования

18.

Распределенная обработка
Свойства распределенной системы
• совместное использование ресурсов;
• совместная обработка;
ПоследоТип
• масштабируемость;
Распределенная
вательная
Параллельная
Процессоров
1
1
Больше 1
Синхронизация
Нет
Процессов Данных и процессов
Масштабируе Замена
Замена
-мость
процессора процессор
а
Добавление узлов,
замена процессора

19.

Распределенная обработка
Свойства распределенной системы
совместное использование ресурсов;
совместная обработка;
масштабируемость;
обнаружение отказов;

20.

Распределенная обработка
Свойства распределенной системы
совместное использование ресурсов;
совместная обработка;
масштабируемость;
обнаружение отказов;
прозрачность.

21.

Распределенная обработка

22.

Mодель Master-Slave

23.

Достоинства модели Master-Slave

24.

Достоинства модели Master-Slave
• Простота реализации

25.

Достоинства модели Master-Slave
• Простота реализации
• Эффективное использование ресурсов

26.

Достоинства модели Master-Slave
• Простота реализации
• Эффективное использование ресурсов
• Масштабируемость

27.

Достоинства модели Master-Slave
• Простота реализации
• Эффективное использование ресурсов
• Масштабируемость
• Отказоустойчивость

28.

Недостатки модели Master-Slave

29.

Недостатки модели Master-Slave
• Единая точка отказа (SPOF)

30.

Недостатки модели Master-Slave
• Единая точка отказа (SPOF)
• Проблемы масштабирования

31.

Недостатки модели Master-Slave
• Единая точка отказа (SPOF)
• Проблемы масштабирования
• Неравномерная нагрузка

32.

Недостатки модели Master-Slave
• Единая точка отказа (SPOF)
• Проблемы масштабирования
• Неравномерная нагрузка
• Проблемы синхронизации

33.

Ограничения распределенной
обработки данных

34.

Ограничения