Комплексная платформа мониторинга

1.

™
Обзор
платформы v1.8
1

2. Комплексная платформа мониторинга

Сценарии
Решение прикладных задач бизнеса, ИТ и ИБ
Аналитика
Визуальный конструктор метрик мониторинга
Реакция
Управление инцидентами и активное реагирование
Данные
Доверенная картина на основе исходных данных
2

3.

История развития Smart Monitor
2020
2019
30+ проектов на SM
2018
Smart Monitor
Splunk App v2.0
2013
Выбор платформы SIEM в
продуктовый портфель VB
2016
Smart Monitor
Splunk App v1.0
2014
Заключение партнерства
со Splunk. Разработка
концепции продукта SM
3

4. Наши клиенты

The Central Bank
of the Russian
Federation
4

5. Два уровня Smart Monitor

Платформа, как инструмент решения практических задач
01
Platform [Core]
Универсальная платформа полного жизненного цикла
управления машинными данными: сбор хранение
анализ визуализация реакция.
Use Case [набор модулей] 02
Кейсы, решающие конкретные практические задачи клиентов: анализ
операционной эффективности сотрудников, мониторинг ИТ-инфраструктуры,
SIEM, анализ бизнес-процесса, мониторинг среды контейнеризации и пр.
5

6. Позиционирование Smart Monitor

Smart Monitor
Splunk
Elastic Stack
Типичный SIEM
Универсальный поиск по
различным хранилищам данных
Поиск без
необходимости
переиндексации
Дополнительные
инструменты и
переиндексация
Только в
собственном
хранилище данных
Только в
собственном
хранилище данных
Возможности модификации языка
поисковых запросов
В рамках roadmap
и по запросу
клиента
Минорные
изменения в
рамках релизов
В рамках roadmap
незначительные
изменения
Как правило,
отсутствует
Универсальная
платформа
Универсальная
платформа
Универсальная
платформа
Ориентация на
средства защиты
информации
Аналитические возможности при
работе с данными
Динамично
развивающийся
язык SML
Зрелый язык
поисковых
запросов SPL
Ограниченный
набор команд над
данными
Ограниченный
набор команд над
данными
Собственная база корреляционных
правил для кибербезопасности
В рамках модуля
Cybersecurity +
проектная работа
В рамках
приложения
Enterprise Security
Контент решения
Elastic SIEM
Большое число
правил «из
коробки»
Возможность подключения любых
источников данных
6

7. Практические сферы применения

Мониторинг бизнеспроцессов
Мониторинг
кибербезопасности
Мониторинг ИТинфраструктуры
Оценка соответствия бизнеспроцессов заданным SLA/KPI,
выявление аномалий в
процессах и сервисах
Smart Code – решение для
комплексного мониторинга
средств защиты Кода
Безопасности
Мониторинг сред
контейнеризации
(Kubernetes, Docker),
виртуальных сред
Профилирование действий
пользователей в рамках
бизнес-процессов, трудовая
дисциплина, скоринг
Управление инцидентами
информационной
безопасности. Автоматизация
для SOC
Мониторинг сетевой,
серверной инфраструктуры,
инвентаризация, диагностика
и оценка здоровья ИТ
7

8. Архитектура решения

Modules
Ресурсно-сервисная модель
Visualization Framework поверх Kibana
Job Scheduler для планировки запросов
Smart Monitor Core
Базовый модуль, осуществляющий
хранение и аналитику по данным.
Возможность одновременной
работы с несколькими
хранилищами данных:
Elasticsearch
ClickHouse
Hadoop
…
Набор прикладных модулей,
которые реализуют
клиентские use cases:
Incident Manager
Cyber Security
Network
Servers
UBA
…
Smart Beat
Универсальный агент
по сбору данных,
использует Elastic
Beats
Безагентный сбор
Возможность сбора данных
без установки агента с
применением Logstash
8

9. SDK для создания приложений на Smart Monitor

Возможности для разработчиков по созданию прикладной логики приложений
Приложение
SDK
API для регистрации
приложений, шаринг
конфигураций, полезных
свойств и компонентов
Smart Monitor
Предоставление
пользовательскому
приложению
возможности
«встраивания» в
Smart Monitor
Core
Приложение Smart Monitor
9

10. Цикл разработки и обновления

Не делаем форк
Elastic Stack
Используем
версию Open
Source
Используем
актуальную
версию Elastic
Stack
Обновления в
соответствии с
изменениями в
очередной
версии
10

11. Модули Smart Monitor

Свой набор модулей для реализации практических задач
11

12. Core

Аналитическое ядро Smart Monitor
12

13. Ресурсно-сервисная модель

Метрика — показатель первого уровня, основан на сырых данных
Индикатор — показатель второго и более высоких уровней, основан либо на
метриках, либо на других индикаторах
НОРМА
ПРЕДУПРЕЖДЕНИЕ
ТРЕВОГА
13

14. Ресурсно-сервисная модель

Хронология изменения состояния индикаторов и тепловая карта
14

15. Глобальная строка поиска

Spotlight
15

16. Job Scheduler

Выполнение запросов по заданному расписанию
Активные действия по результаты выполнения (E-mail, SMS, Messenger,
заведение инцидентов, агрегация результатов индекс и др.)
16

17. Core: Smart Monitor Engine

Аналитический движок для обработки данных
Search Anywhere - хранение и поиск данных в
Elasticsearch и не только
Собственный язык запросов Smart Monitor
Language, поддержка pipeline-обработки
Многопоточная обработка данных при
выполнении команд
17

18. Концепция Search Anywhere

Поиск по данным в любом подключенном
хранилище с единым синтаксисом
Исходные данные остаются нетронутыми,
переиндексация не происходит
Можно «положить» результаты рядом в
любое хранилище
18

19.

Search Anywhere™
Хранилища данных
04
Github
03
ClickHouse
02
Hadoop Hive
01
Elasticsearch
19

20. Как использовать?

source elk:win_events:1000, clk:events.nix_events qsize=5000
1000 событий из индекса win_events в
Elasticsearch
5000 событий из таблицы nix_events в
Clickhouse
20

21. Как использовать?

source elk:win_events:1000, clk:events.nix_events qsize=5000
elk: / clk: / had:
префикс для указания конкретного хранилища
21

22. Как использовать?

source elk:win_events:1000, clk:events.nix_events qsize=5000
win_events: / events.nix_events:
индекс Elasticsearch / база данных или иное хранилище
22

23. Как использовать?

source elk:win_events:1000, clk:events.nix_events qsize=5000
:1000
лимит по числу событий от выбранного хранилища
qsize=5000
лимит числа событий по умолчанию
23

24. Пример запроса

source elk:win_events:1000, clk:events.nix_events qsize=5000
| eval sourcetype = _type
| stats count by sourcetype
24

25. Smart Monitor Language

25

26. Smart Monitor Language

Подсказки команд и описание к ним
Подсветка синтаксиса
26

27. Smart Monitor Language

Timeline
Field Bar
27

28. Dashboard Framework

Набор базовых визуализаций (table, line chart,
column chart, bar chart)
Запуск поискового запроса и отображение его
результатов
Возможность настройки Drilldown к
дашбордам или произвольной ссылке
Поддержка различных цветовых тем
28

29. Dashboard Framework

29

30. Dashboard Framework

Бесшовная интеграция со страницей создания
визуализаций
Ресайзинг визуализации по размеру
контента
Возможность настройки дашборда с
помощью YAML
Выравнивание панелей по сетке
30

31. Dashboard Framework

31

32. SDK для создания визуализаций на Smart Monitor

Возможности для разработчиков по внедрению своих вариантов визуализации
Визуализация
Пользовательская
визуализация,
отправляющая запрос
на регистрацию своих
React-компонентов
SDK
Набор методов и
компонентов для
интеграции в
Smart Monitor
Core
Приложение Smart Monitor
32

33. Smart Beat

Управление агентами Beats
Поддержка централизованного управления
конфигурацией агентов
Автоматический запуск нескольких Beats
без необходимости установки
Простой процесс управления агентами и их
обновление
33

34. Smart Beat Manager

Сервер управления для Smart Beat
Возможность распространения конфигураций
для агентов Beats
Возможность удаленного обновления
версий самих Beats
Веб-интерфейс для просмотра текущей
конфигурации и активных Smart Beat
34

35. Производительность системы

340 000
13
500 000
Пиковая
производительность
индексирования
в ТБ/сутки
8,5
Средняя
производительность
индексирования
в EPS
Пиковая
производительность
индексирования
в EPS
Средняя
производительность
индексирования
в ТБ/сутки
35

36. Варианты поставки модуля Core

36

37. Incident Manager

Регистрация и процесс обработки инцидентов
37

38. Incident Manager

Фиксация важных
событий
Создание
инцидентов
вручную
История
изменений и
комментарии
Статусы
инцидентов
Назначение
ответственных
Уровни критичности
38

39. Incident Manager

Фиксация важных
событий
Создание
инцидентов
вручную
История
изменений и
комментарии
+ Workflow
Уровни критичности
39

40. Incident Manager

Уровни критичности
Трекинг статусов
Комментарии
История изменений
40

41. Workflow — активные действия

• Первичные действия могут влиять на параметры инцидента
• Разделяются на системные и пользовательские
• Пользовательские действия могут быть реализованы на NodeJS / Python
Первичные действия
Автоматическое назначение
ответственного
Регистрация времени
изменения статуса
Проверка времени изменения
статуса (соответствие SLA)
Другие действия
Отправка оповещения на
почту
Отправка оповещения в
мессенджер
Интеграция с Service Desk
(передача информации об
инциденте)
41

42. Пример рабочего процесса

42

43. Inventory

Инструмент формирования и управления активами
43

44. Inventory: Назначение

Модуль обеспечивает:
серверы
Последнее обновление: час
назад
рабочие
станции
Последнее обновление: 15 минут
назад
• Формирование единой базы активов
• Поддержку данной базы в актуальном
состоянии
Inventory
пользователи
Последнее обновление: 2 часа
назад
информационные
системы
Последнее обновление: 30
минут назад
…
44

45. Inventory

Автоматизированный сбор и обновление базы активов от различных источников
Пользователи
Серверы
Inventory
processor
Сетевые устройства
45

46. Inventory

Использование атрибутов Inventory для фильтрации поиска, анализа и построения
статистических отчетов в различных срезах
Рабочие станции
Серверы
63430
6
5
БД
4
51230
АТМ
3
Сетевое оборудование
2
40111
35102
1
32102
0
Отдел IT
Отдел HR
Дирекция
2017
2018
2019
2020
Количество пользователей
2021
46

47. Актив – объект инвентаризации

Составные компоненты актива
Атрибуты актива
Базовые
Набор атрибутов,
определяющий
отпечаток актива.
Совокупность
которых определяет
уникальность актива.
Дополнительные
Атрибуты, значения
которых важны для
инвентаризации и
смежных модулей.
Они не являются
уникальными.
Мета
Атрибуты,
сформированные
модулем
инвентаризации.
Требуются для
отслеживания
жизненного цикла
актива.
Исходные
Все атрибуты от
источников данных
на базе которых
были построены
активы
47

48. Knowledge Center

Новое решение по управлению знаниями
48

49. Объекты Knowledge Center

Сценарии
Правила
Сценарии
использования
правил
Набор
корреляционных
правил
Playbooks
Wikilogs
Последовательность Статьи с детальным
действий для
описанием
закрытия инцидента
Источники
Эталонные
конфигурации для
сбора данных
49

50. Правила

Корреляционные правила, которые можно использовать для реализации
Правило
Описание
Описание
использования с
полноценной
информацией в
Rich Text
редакторе
Мета-данные
поиска
Описание
поискового
запроса с
рекомендуемым
временным
интервалом и
расписанием
Применение
Возможность
добавить шаблон
правила в Job
Scheduler,
подставив
необходимые
токены
50

51. Сценарий

Сценарий – совокупность
правил.
Один и тот же сценарий может
реализовываться разными
правилами
Из интерфейса сценария
можно просмотреть список
привязанных к нему правил и
перейти к каждому из них
Сценарий
с описанием
поведения
Правило
Правило
Правило
51

52. Конфигурации источников данных

03
02
Эталонная конфигурация
Logstash для подключения
источника
Настройка Elasticsearch для
корректного приема данных
01
Конфигурация Smart Beat для
сбора данных с помощью
агентов Beats
52

53.

Дашборды
Ролевая
модель
Диаграммы
Картинки
Wikilogs
Rich Text
Редактор
Синхронизация
Кроссссылки
Связка
с другими
модулями
53

54. Wikilogs

54

55. Wikilogs - диаграммы

55

56. Wikilogs - динамические статьи

56

57. Поиск

В Knowledge Center есть удобный поиск по всем объектам
57

58.

Демонстрация
58

59.

™
Запросить демонстрацию
59

60.

™
Полезные ссылки: