Презент

1.

ДИПЛОМНА РОБОТА БАКАЛАВРА
Розробка детектора аномалій у
вимірювальних даних
Програмний інструмент для контролю якості даних інформаційно-вимірювальних систем
Виконав: Мусійченко В.В., БК-423сп
Керівник: к.т.н., доцент Грушко С.С.

2.

02
Актуальність
Помилкові значення трапляються неминуче
вчасне виявлення критичне для надійної роботи систем керування
> 15 млрд
Комерційні рішення складні
підключених сенсорів у світі
потребують серверної інфраструктури та налаштування
обсяги вимірювальної інформації подвоюються
приблизно кожні 2 роки
Потрібен простий інструмент
що працює прямо у браузері, без встановлення додаткового ПЗ

3.

03
Мета, об'єкт, предмет дослідження
МЕТА
ОБ'ЄКТ
ПРЕДМЕТ
Розробити доступний програмний
інструмент для виявлення аномалій
безпосередньо у веб-браузері
Процес контролю якості вимірювальних
даних інформаційно-вимірювальних
систем
Методи та програмні засоби
детектування аномалій, придатні для
односторінкового веб-додатку
Завдання роботи
1
Проаналізувати типи аномалій та
методи їх виявлення
2
Обґрунтувати вибір алгоритмів
детектування
3
Спроєктувати та реалізувати вебдодаток
4
Провести експериментальне
дослідження ефективності

4.

04
Класифікація аномалій
За характером прояву
Точкові
За причинами виникнення
Технічні несправності датчиків
окреме значення різко вибивається із загального ряду
Зовнішні завади
Контекстні
Помилки передачі даних
значення аномальне лише у певному контексті
Реальні фізичні події
Колективні
група значень разом утворює відхилення
Враховано ефекти маскування та затоплення, коли одні викиди
спотворюють виявлення інших

5.

05
Огляд методів детектування
Статистичні методи
Машинне навчання
Нейромережі
Нормальні дані «тримаються купи»
навколо середнього; усе, що відхиляється
задалеко, — підозріле. Прості й
зрозумілі, але слабкі за незвичної форми
даних.
Isolation Forest — швидкий і не потребує
припущень про форму даних. Добре
знаходить складніші аномалії.
Найпотужніші, але обчислювально надто
важкі, щоб працювати у звичайному
браузері.
Головний висновок
Ідеального методу «на всі випадки» не існує — тому в роботі поєднано кілька методів, щоб сильні сторони одного
компенсували слабкі сторони іншого.

6.

06
Обрані методи детектування
1
Z-score
найпростіший
Вимірює, на скільки кроків значення віддалене від середнього.
Працює, коли дані «спокійні» й рівномірні.
3
MAD — модифікований Z-score
робастний
Той самий принцип, але стійкий до перекошених, несиметричних
даних.
2
IQR — міжквартильний розмах
надійніший
Орієнтується на діапазон, де лежить більшість значень. Окремі
викиди не збивають його з пантелику.
4
Isolation Forest
«розумний»
Машинне навчання: шукає значення, які найлегше «відокремити»
від решти. Знаходить складніші аномалії.

7.

07
Вимоги до системи
1
Завантаження CSV
імпорт даних з автовизначенням формату
2
Кілька методів
вибір алгоритму та налаштування параметрів
3
Інтерактивна візуалізація
графік із виділенням аномальних точок
4
До 100 000 точок
обробка великих наборів даних
5
Час відгуку < 3 секунд
швидкий результат для оперативного аналізу

8.

08
Архітектура додатку
Single Page Application
Конфіденційність
HTML5 · CSS3 · JavaScript
дані не залишають пристрій користувача
Ключова особливість: усі обчислення виконуються на
стороні клієнта
Автономність
незалежність від мережевого з'єднання та сервера
Масштабованість
за рахунок обчислювальних ресурсів самого пристрою

9.

Інтерфейс користувача
09

10.

Реалізація та оптимізація
Уніфікований інтерфейс методів
кожен метод — окрема функція з єдиним форматом входу та виходу, що спрощує розширення системи
Візуалізація на Chart.js
інтерактивний лінійний графік із виділенням аномалій та межами діапазону
Downsampling даних
прорідження зі збереженням локальних екстремумів — сотні тисяч точок без затримок і без втрати інформації про аномалії
10

11.

11
Методика експерименту
Дані
синтетичні (з відомими аномаліями) та реальні (моніторинг температури обладнання)
Параметри наборів
різна кількість точок, частка аномалій 1–10 %, різні рівні шуму
Достовірність
кожен експеримент повторювався 10 разів
Метрики оцінки точності
Precision
Recall
F1-міра
частка істинних серед усіх виявлених
частка виявлених серед усіх істинних
гармонічне середнє Precision і Recall

12.

12
Результати точності детектування
Синтетичні дані з 5 % точкових аномалій
1
IQR
найвища повнота
0,95
Recall = 0,95
0,9
MAD
найвища точність
Precision = 0,94
0,85
Isolation Forest
найкращий на реальних даних
0,8
Z-Score
IQR
Precision
MAD
Recall
F1-score
Isolation Forest
розрізняє аномалії та коливання процесу

13.

14
Рекомендації щодо застосування
Який метод обирати залежно від характеру вимірювальних даних
Наближено нормальний розподіл
Z-score
поріг 2,5 – 3,5
Невідомий розподіл
IQR
робастний до форми даних
Асиметричні дані
MAD
стійкий до перекосу
Складні нелінійні випадки
Isolation Forest
≥ 100 дерев для стабільності

14.

Висновки
Розв'язано актуальну науково-практичну задачу детектування аномалій
Реалізовано односторінковий веб-додаток із чотирма методами; всі обчислення — на стороні клієнта
Досягнуто F1-міру до 0,92; інструмент не потребує серверної інфраструктури
Подальший розвиток: методи для часових рядів та підтримка багатовимірних даних
Дякую за увагу!