Разработка веб-приложения обработки и анализа данных в режиме реального времени

1.

Выпускная квалификационная
работа на тему «Разработка Веб
приложения обработки и анализа
данных в режиме реального
времени"
Студент:
Научный руководитель:

2.

Актуальность, объект, предмет
исследования
Актуальность темы обусловлена тем, что рост киберугроз требует оперативной обработки
данных в реальном времени, а веб-хуки обеспечивают интеграцию и автоматизацию процессов,
что критично для «Код безопасности» в условиях повышения спроса на безопасность и скорость
реакции систем.
Предмет: Современные веб-технологии (Elixir, Phoenix, LiveView) и применение веб-хуков для
интеграции систем и анализа данных в реальном времени.

3.

Современные веб-технологии и роль
веб-кухов
Современные веб-технологии
HTML5, CSS3, JavaScript: динамичные интерфейсы.
React, Angular, Vue.js: одностраничные приложения.
PWA: работа без интернета.
Elixir/Phoenix: масштабируемость, производительность.
WebSocket, SSE: обновление данных в реальном времени.
Роль веб-хуков
Мгновенный обмен данными без опроса.
Интеграция систем и автоматизация процессов.
Ускорение реакции на события.
Повышение гибкости и безопасности.

4.

Анализ потребностей предприятия
1. Выявление инцидентов в режиме реального времени. Одной из приоритетных задач
является создание системы, способной автоматически анализировать входящие данные и
мгновенно инициировать соответствующие защитные меры.
2. Мониторинг событий безопасности и сокращение влияния человеческого фактора.
3. Интеграция с разнородными информационными системами. Поскольку организации
обслуживает широкий круг клиентов (от государственных учреждений до частных лиц),
требуется гибкая интеграция с раз-личными внешними и внутренними информационными
системами.
4. Масштабируемость решений. Растущий штат клиентской базы обуславливают
необходимость масштабирования используемых информационных систем.
5. Обеспечение конфиденциальности и безопасности данных. При работе с чувствительной
информацией государственных организаций и частных клиентов критически важно
реализовать механизмы контроля доступа, шифрования данных и постоянного мониторинга
безопасности на всех уровнях системы.

5.

Требования к приложению
Функциональные
Удобство: интуитивный интерфейс, адаптивный дизайн.
Скорость: обработка данных в реальном времени.
Параллельная обработка: множественные веб-хуки без задержек.
Расширяемость: модульная архитектура, интеграция через API.
Нефункциональные
Безопасность: шифрование (TLS), защита от атак (XSS, CSRF).
Надежность: отказоустойчивость через BEAM.
Масштабируемость: горизонтальное и вертикальное расширение.

6.

Архитектура приложения
Архитектура приложения разработана с учётом требований высокой
производительности, масштабируемости и отказоустойчивости.
Приложение построено на платформе Elixir с использованием фреймворка
Phoenix.
В основе – событийно-ориентированный подход для обработки веб-хуков в
реальном времени.
Принципы: разделение ответственности, изоляция модулей, масштабируемость,
повторное использование кода.

7.

Базовая структура и доменная логика

8.

Базовая структура и доменная логика

9.

Маршрутизация

10.

Обработка ошибок
Основы и реализация
Модули: ErrorHTML и ErrorJSON в lib/vkr_web/controllers/.
Цель: информативные ответы при сбоях (HTML/JSON).
Для браузера и API.
Пример ErrorHTML:

11.

Инструкция развертывания
приложения
• 1.
Установите asdf https://asdf-vm.com/
• 2.
включите elixir/erlang плагины в asdf, выполнив следующие команды в
терминале: asdf plugin add elixir, asdf plugin add erlang
• 3.
склонируйте репозиторий: git clone https://github.com/Anderleht/vkr && cd vkr
• 4.
установите зависимости из '.tool-versions' файла: asdf install
• 5.
Выполните следующие команды: mv .example.env.local .env.local, mix setup, mix
phx server
• 6.
После этого, вы можете начать отправлять HTTP запросы на
`http://<session_id>.localhost:4000/`, после чего вы начнёте видеть запросы.

12.

Заключение
Разработанное веб-приложение на Elixir и Phoenix с LiveView
обеспечивает оперативную обработку веб-хуков и анализ данных
в реальном времени для предприятия в области безопасности.
Оно демонстрирует высокую производительность,
масштабируемость и безопасность, оптимизируя мониторинг
угроз и
бизнес-процессы, с потенциалом дальнейшего расширения
функционала.

13.

Сводный анализ и заключительные
выводы
1. Снижение операционных затрат. Отказ от использования стороннего сервиса webhook.site
и замена его собственным решением приводит к существенному сокращению расходов
на аренду, поддержку и интеграцию внешних сервисов.
2. Адаптация и кастомизация. Продукт спроектирован с учётом специфических требований
предприятия области защиты информации, то позволяет оптимизировать внутренние
процессы и снизить издержки, связанные с доработкой универсальных (чужих) решений.
3. Преимущества
масштабируемости
и
гибкости.
Использование
технологий,
обеспечивающих высокую параллельность и отказоустойчивость, гарантирует
возможность дальнейшего роста и адаптации системы к изменяющимся условиям без
пропорционального роста затрат
4. Ограничения и риски. Основные риски связаны с интеграцией с существующими
системами, обеспечением безопасности, масштабируемостью при экстремальных
нагрузках и зависимостью от квалификации персонала.