презентация

1.

Презентация на тему классификация систем
обработки данных. Основные технологии и
инструменты
Борисов Кирилл
ИСТ-2521

2.

План
1.Введение
2.Классификация систем обработки данных
3.Классификация по способу обработки данных
4.Классификация по архитектуре систем
5.Основные технологии обработки данных
6.Обработка больших данных (Big Data)
7.Заключение

3.

Введение
Системы обработки данных имеют центральное
значение в современной цифровой эпохе. С каждым
годом
объем
информации,
генерируемой
организациями и отдельными пользователями,
растет стремительными темпами. В этом контексте
эффективные системы обработки данных позволяют
управлять, хранить и анализировать крупные
объемы информации, извлекая из них полезные
инсайты. В данном докладе мы подробно рассмотрим
классификацию систем обработки данных, основные
технологии и инструменты, используемые в этой
области, а также их роль в принятии решений и
оптимизации бизнес-процессов.

4.

Классификация систем обработки данных
1.Структурированные данные
Имеют строгую структуру и хранятся в таблицах.
Технологии: Реляционные базы данных (MySQL, PostgreSQL).
Примеры: Используются в финансовых системах, CRM для управления
транзакциями.
2.Неструктурированные данные
Не имеют фиксированной схемы, включают текст, изображения, видео.
Технологии: NoSQL базы данных (MongoDB, Couchbase).
Примеры: Социальные сети, блоги для анализа контента.
3.Полуструктурированные данные
Содержат структурированные и неструктурированные компоненты
(например, XML, JSON).
Технологии: Инструменты ETL (Apache NiFi).
Примеры: Используются в обмене данными между веб-сервисами и
API.

5.

Классификация по способу обработки данных
Пакетная обработка (Batch Processing)
Обработка данных в группах, что снижает нагрузку и оптимизирует ресурсы.
Технологии: Apache Hadoop использует модель MapReduce.
Примеры использования: Подходит для отчетности и анализа, например, анализ
продаж за месяц.
Онлайн-обработка транзакций (OLTP)
Обеспечивает мгновенную обработку транзакций, критично для финансов,
торговли, логистики.
Технологии: Реляционные базы данных (MySQL, PostgreSQL).
Примеры использования: Используются для обработки платежей и заказов в
реальном времени.
Аналитическая обработка (OLAP)
Предназначены для многомерной аналитики и анализа больших объемов
данных.
Технологии: OLAP-системы (Microsoft Analysis Services, SAP BW).
Примеры использования: Анализ потребительского поведения и
прогнозирование спроса.

6.

Классификация по архитектуре систем
Централизованные системы
Все данные обрабатываются и управляются на одном сервере или в одном центре обработки.
Преимущества:
Простота в администрировании и настройке.
Обеспечение надежного управления и защиты данных.
Недостатки:
Может стать узким местом при росте нагрузки и проблемах масштабируемости.
Примеры использования:
Традиционные базы данных, такие как Microsoft SQL Server, с централизованным доступом пользователей.
Распределенные системы
Данные хранятся и обрабатываются на нескольких узлах, обеспечивая высокую скорость обработки и
отказоустойчивость.
Технологии:
Apache Kafka и базы данных, такие как Apache Cassandra, для совместной обработки данных.
Преимущества:
Высокая степень доступности.
Гибкость в масштабировании, особенно полезна при росте объема данных.
Примеры использования:
Финансовые организации строят распределенные системы для анализа активов в реальном времени и
управления торговыми операциями.

7.

Основные технологии обработки данных
Реляционные базы данных (RDBMS)
Системы, использующие таблицы для хранения связанных данных.
Преимущества:
Четкая структура.
Поддержка SQL-запросов.
Гарантия целостности данных.
Примеры:
MySQL, PostgreSQL, Microsoft SQL Server, Oracle Database.
Случаи использования:
Активно применяются в финансовых системах, системах учета клиентов и гостиничного
менеджмента.
Нереляционные базы данных (NoSQL)
Предназначены для работы с различными типами данных: документы, графы, ключзначение.
Преимущества:
Горизонтальное масштабирование.
Отсутствие фиксированной схемы.
Примеры:
MongoDB (документо-ориентированная), Cassandra (колоночная), Redis
(кэширование по ключу).
Случаи использования:
Применяются в социальных сетях, e-commerce платформах и для управления большими
объемами данных в реальном времени.

8.

Обработка больших данных (Big Data)
Фреймворки для обработки больших данных
Apache Hadoop
Платформа для анализа огромных объемов данных.
Преимущества: Распределенные вычисления, масштабируемость.
Примеры использования: Анализ логов, обработка транзакций.
Apache Spark
Инструмент для быстрой обработки данных в памяти.
Преимущества: Поддержка пакетной и реальной обработки.
Случаи использования: Предсказательная аналитика, обработка потоков.
Инструменты ETL (Extract, Transform, Load)
Инструменты для интеграции данных из различных источников.
Примеры: Talend, Apache NiFi, Informatica.
Использование: Загрузка данных для аналитики.
Инструменты для аналитики и визуализации данных
BI-платформы (Business Intelligence)
Анализ данных и создание визуальных отчетов.
Примеры: Tableau, Power BI, Qlik.
Использование: Выявление трендов и оценка бизнес-эффективности.

9.

Заключение
1)Системы обработки данных играют ключевую роль в бизнес-процессах и
обществе, позволяя организациям эффективно справляться с вызовами.
2)Разнообразие технологий и инструментов позволяет адаптироваться к
изменяющимся условиям.
3)Понимание классификации систем по типам, методам и архитектуре помогает
создавать эффективные стратегии для управления данными.
4)Правильный выбор технологий подтверждает конкурентные преимущества и
повышает результативность.
5)Успешные организации используют системы обработки данных для быстрого
реагирования на вызовы и поиска новых возможностей для роста.