Диплом2

1.

Разработка алгоритмов
программного обеспечения
системы поиска тепловых
аномалий
Современный подход к выявлению температурных отклонений в различных
сферах человеческой деятельности

2.

Введение
Обнаружение тепловых аномалий на спутниковых
снимках является одной из прикладных задач
дистанционного зондирования Земли, востребованных в
мониторинге лесных пожаров, оценке теплопотерь
застройки, контроле промышленных объектов и
сельскохозяйственных угодий.
Инфракрасные и мультиспектральные снимки со
спутников показывают тепловую аномалию как
локальное или протяжённое отклонение яркости
пикселей от фона, то есть как поиск аномалий в
многоканальной матрице, где нормой является
большинство пикселей, а аномальные области редки
и заранее не заданы по форме, размеру и
интенсивности. Из-за сильного дисбаланса классов
бинарная классификация с учителем здесь слабо
применима, и на первый план выходит обучение без
учителя на примерах нормального состояния
поверхности
Разработка эффективных алгоритмов поиска таких аномалий становится всё более актуальной задачей, поскольку объёмы
данных растут, а требования к точности и скорости анализа повышаются.

3.

Актуальность работы
С ростом пространственного и временного разрешения
спутниковых сенсоров объёмы данных нарастают так быстро,
что полноценный ручной анализ становится нереалистичным;
пороговые и статистические методы дают много ложных
срабатываний из-за суточных и сезонных колебаний, рельефа и
типа подстилающей поверхности.
Модели глубокого обучения показывают высокие результаты
на бенчмарках, но ни одна из них не обладает достаточной
универсальной стабильностью на всех типах данных, поэтому
особенно востребованы алгоритмы, способные сочетать
сильные стороны разных подходов в зависимости от специфики
входа.
Задачу при этом естественно формулировать как поиск
аномалий на изображении - тензоре H×W×C: для вектора
признаков пикселя x ∈ ℝᶜ нормальные пиксели описываются
компактным распределением p(x), а аномальные соответствуют
области низкой плотности; у спутниковых данных к этому
добавляются масштаб, число каналов и атмосферные помехи,
хотя общая алгоритмическая постановка близка к
промышленной и ДЗЗ - литературе.

4.

Цель работы и задачи
Цель
Цель работы состоит в разработке и экспериментальной проверке
ансамблевого алгоритма обнаружения тепловых аномалий на
спутниковых снимках, устойчиво работающего на разных типах сцен без
ручной подгонки гиперпараметров под каждый датасет.
Задачи
Для этого решались задачи: провести обзор классических и
современных методов (пороги, статистика, расстояния и плотность,
автоэнкодеры, GAN, трансформеры); спроектировать ансамбль на
основе расстояния Махаланобиса, остаточного автоэнкодера,
дискриминативного MLP и KNN-скоринга с адаптивной оптимизацией
весов; формализовать критерии AUROC, AUPR, F1 и MCC и обосновать
их для несбалансированных задач; выполнить вычислительные
эксперименты на трёх датасетах и сравнить ансамбль с пятью
бейзлайнами. Использовались методы математической статистики
(Махаланобис, оценка плотности), машинного обучения (Isolation
Forest, One-Class SVM, LOF, KNN), глубокого обучения и переноса
обучения (извлечение признаков из предобученного Vision
Transformer).

5.

Постановка задачи
Тепловые аномалии — это отклонения температурного поля от
ожидаемой нормы; в ДЗЗ это востребовано в промдиагностике,
теплосетях, стройконтроле, хранении термочувствительных
материалов и медицине, причём аномалии могут проявляться как
локальные перегревы, дрифты, скачки или нехарактерные
пространственные паттерны.
Формально рассматривается ряд измерений X = (x₁, …, xₙ), xᵢ ∈ ℝᵈ, и
строится отображение f: ℝᵈ → {0, 1}, разделяющее норму и аномалию;
размеченных аномалий обычно нет или мало, поэтому задача
относится к обучению без учителя или с частичным контролем.
Различают точечные аномалии (резко выбивающиеся наблюдения),
контекстуальные (аномальны лишь в контексте, например рост
температуры трубопровода ночью без нагрузки) и коллективные
(отдельно «нормальные» точки в совокупности дают нехарактерный
паттерн, например медленный дрифт).
Далее в разделе рассматриваются пороговые и статистические подходы, методы на основе
расстояний и плотности, а также анализ частотных характеристик сигнала.
Гл. 1, §1.1; формула (1.1)

6.

Классические подходы
Пороговые методы
Статистические методы
• Являются исторически первыми и
простейшими подходами к
обнаружению тепловых
аномалий. Их суть сводится к
сравнению текущего значения
температуры (или производной
температурной характеристики) с
заранее установленным
пороговым значением.
• Основаны на построении модели
нормального поведения
температурного сигнала и
последующем выявлении
наблюдений, плохо
согласующихся с этой моделью.
• Фиксированный порог
определяется как:
Параметрические модели
• Простейшая параметрическая
модель предполагает, что
температурные данные
подчиняются нормальному
распределению:

7.

Классические подходы
Непараметрические методы
KNN методы
Метод изолирующего леса
• Не требуют жестких
предположений о виде
распределения. К ним относятся,
в частности, методы ядерной
оценки плотности. Оценка
плотности строится как:
• Методы, основанные на
вычислении расстояний между
наблюдениями, формируют
отдельное семейство алгоритмов
обнаружения аномалий. Их
ключевая идея состоит в том, что
аномальные точки удалены от
основной массы данных в
признаковом пространстве.
• Обнаруживает аномалии
исключительно на основе
концепции изоляции, не
используя ни метрик расстояния,
ни оценок плотности, что
принципиально отличает его от
всех существующих методов
• Классический подход KNN для
обнаружения аномалий
вычисляет среднее расстояние до
k ближайших соседей каждой
точки:

8.

Классические подходы
Алгоритм динамической трансформации временной
шкалы
Метод локального фактора выброса (LOF)
• Метод DTW позволяет нелинейно
деформировать временную шкалу одного
ряда для наилучшего совмещения с другим.
• Этот фактор является локальным, поскольку
зависит от того, насколько объект изолирован
по отношению к окружающему соседству, и
обладает множеством формально доказанных
свойств.
• DTW-расстояние определяется через
рекуррентное соотношение на матрице
стоимости:
• Вычисление LOF опирается на несколько
вспомогательных понятий. Сначала
определяется k-расстояние точки x как
расстояние до ее k-го ближайшего соседа.
Затем вводится достижимое расстояние:

9.

Методы машинного и глубокого обучения для поиска тепловых аномалий
Классические методы из предыдущего раздела на сложных
тепловых данных упираются в пределы: пороги слабо ловят
слабые отклонения, статистика — медленные дрифты
температуры, а дистанционные подходы теряют эффективность
в высоких размерностях.
Рост вычислительных возможностей, объёмов данных и
качества архитектур нейросетей сделал глубокое обучение
практичным инструментом детекции тепловых аномалий: в
первую очередь CNN и RNN ускорили прогресс в
промышленной автоматизации, позволяя разбирать сложные
тепловые паттерны с высокой точностью и в темпе, близком к
реальному времени.
В разделе последовательно рассматриваются семейства DLподходов — автоэнкодеры, GAN, CNN для сегментации и
детекции объектов и трансформеры — с формальными
постановками, особенностями архитектур, достоинствами,
недостатками и примерами применения к тепловым данным.

10.

Методы машинного и глубокого обучения для поиска тепловых аномалий
Автоэнкодер (Autoencoder, AE)
Представляет собой нейронную сеть, состоящую из двух компонент:
энкодера и декодера. Автоэнкодер содержит сеть-энкодер и сетьдекодер; энкодер преобразует высокоразмерные входные данные в
латентное пространство меньшей размерности, а декодер
восстанавливает исходные данные из этого сжатого представления.
Генеративно-состязательная сеть
Состоит из двух нейросетей: генератора G и дискриминатора D,
обучаемых в состязательном режиме. GAN состоят из пары
нейронных сетей: генератора G и дискриминатора D; обе сети
обучаются совместно; генератор G учится отображению из
случайного шума фиксированной размерности Z в образцы, близкие
к входному распределению данных; дискриминатор D учится
корректно различать реальные образцы X от сгенерированных
образцов.
Свёрточный автоэнкодер
Для обработки тепловых изображений полносвязные
автоэнкодеры неэффективны, поскольку не учитывают
пространственную структуру данных. Свёрточный
автоэнкодер решает эту проблему, заменяя
полносвязные слои свёрточными, что позволяет
сохранять пространственные зависимости между
пикселями.

11.

Методы машинного и глубокого обучения для поиска тепловых аномалий
Семантическая сегментация тепловых изображений
Играет двоякую роль в задаче поиска аномалий. Во-первых, она
позволяет выделить область интереса (ROI), отфильтровав фоновые
объекты. Во-вторых, результат сегментации может быть
непосредственно использован для классификации пикселей как
нормальных или аномальных.
Vision Transformer (ViT)
Перенёс идею трансформерной архитектуры из
обработки естественного языка в область
компьютерного зрения.
Входное изображение разбивается на
последовательность непересекающихся патчей
размером P×P, каждый из которых линейно
проецируется в пространство размерности D:

12.

Описание предложенного ансамблевого метода
В рамках настоящей работы разработан ансамблевый
метод обнаружения аномалий. Метод строится на
предположении, что различные взгляды на одни и те же
данные дополняют друг друга, а их адаптивная комбинация
позволяет компенсировать слабости каждого отдельного
подхода.
Алгоритм включает четыре компоненты. Первая
компонента представляет собой признаковый экстрактор,
вторая и третья выполняют независимое скоринговое
оценивание аномальности, а четвёртая отвечает за
адаптивное слияние оценок.
Извлечение признаков.
Для извлечения информативных признаков из
изображений используется предобученная модель Vision
Transformer (patch size 16, вход 224×224).
Признаки извлекаются не из единственного слоя, а из
нескольких промежуточных слоёв трансформера (слои 4, 8
и 12), после чего CLS-токены конкатенируются:
Гл. 2

13.

Расстояние Махаланобиса
Остаточный автоэнкодер
Первая скоринговая компонента вычисляет
расстояние Махаланобиса от тестового
образца до распределения нормальных
данных. Метод оценки уверенности на основе
расстояния Махаланобиса, предложенный для
предобученных нейронных классификаторов,
достигает передового уровня как в
обнаружении выходящих за распределение
образцов, так и в детекции состязательных
примеров.
Вторая компонента строится на базе
автоэнкодера с остаточными соединениями.
Архитектура энкодера состоит из трёх
линейных блоков с понижением размерности
(2304 → 512 → 256 → 64), каждый из которых
дополнен остаточным блоком (ResidualBlock).
Остаточный блок содержит два линейных слоя,
Batch Normalization, активацию GELU и Dropout
(0,1)

14.

Дискриминативный MLP с синтетическими
аномалиями
Третья компонента использует принципиально
иной подход: вместо моделирования
нормальности она обучается непосредственно
различать нормальные и аномальные
образцы.
KNN-скоринг
Четвёртая компонента вычисляет среднее
расстояние до k = 3 ближайших соседей в
пространстве признаков с использованием
косинусной метрики:
Архитектура ансамблевого метода

15.

Метрики оценки качества
Для объективного сравнения алгоритмов
обнаружения аномалий необходим набор метрик,
учитывающих специфику задачи: дисбаланс классов,
отсутствие единого оптимального порога и различие
цены ошибок первого и второго рода. В экспериментах
используются четыре основные метрики: AUROC, AUPR,
F1 и MCC.
Площадь под ROC-кривой (AUROC)
Строится как зависимость True Positive Rate
(TPR, чувствительность) от False Positive Rate
(FPR) при варьировании порога
классификации. AUROC вычисляется как
площадь под этой кривой:
Метрика AUROC представляет собой площадь
под кривой рабочей характеристики
приёмника и измеряет способность модели
различать нормальные и аномальные
образцы. Значение 1,0 соответствует
идеальному разделению, 0,5

16.

F1-мера
В отличие от AUROC и AUPR, F1 требует
выбора конкретного порога бинаризации.
Поскольку большинство датасетов для
обнаружения аномалий
несбалансированы, Precision, Recall и F1мера являются распространёнными
метриками для измерения
производительности модели и
бенчмаркинга
Коэффициент корреляции Мэтьюса
Учитывает все четыре элемента матрицы
ошибок и является одной из наиболее
информативных метрик для
несбалансированных задач. MCC можно
интерпретировать как коэффициент
корреляции между предсказанными и
фактическими классами

17.

Практические результаты
Используемые набор данных
Эксперименты проводились на трёх датасетах, каждый из которых моделирует отдельный сценарий
обнаружения аномалий в задачах дистанционного зондирования и мониторинга.
D1: EuroSAT Forest vs ALL
D2: EuroSAT Cropland vs Water+Vegetation
D3: Wildfire Satellite
Выбор данных сценариев обусловлен необходимостью оценить обобщающую способность
алгоритмов на задачах разной сложности: D1 является лёгким сценарием с высоким межклассовым
разнообразием, D2 представляет сложный сценарий с малыми различиями между классами, D3
максимально приближен к целевой задаче обнаружения тепловых аномалий

18.

Сравниваемые модели и постановка эксперимента
Постановка эксперимента
Эксперименты выполнены при фиксированном случайном seed = 42
для воспроизводимости. Изображения приводились к размеру
224×224 и обрабатывались предобученным ViT-Base. Тестовая
выборка содержала равное число нормальных и аномальных
образцов, что устраняет влияние дисбаланса на метрики.
Для каждой модели вычислялись четыре метрики: AUROC, AUPR, F1
(при оптимальном пороге) и MCC (при том же пороге). Помимо
абсолютных значений метрик, рассчитывался средний ранг каждого
метода по AUROC на трёх датасетах: каждому методу присваивался
ранг от 1 (лучший) до 6 (худший) на каждом датасете, ранги
усреднялись
Модели
Isolation Forest
One-Class SVM
LOF[10]
KNN
AE on ViT features

19.

Результаты экспериментов
Полные результаты всех шести методов на трёх датасетах представлены в таблице
• На датасете D1 наибольший AUROC показал Isolation Forest (0,9942),
высокие показатели всех методов объясняются тем, что D1 является
простым сценарием.
• На датасете D2 лучший результат LOF (AUROC = 0,9237), что можно
объяснить способностью LOF учитывать локальную плотность данных.
• На датасете D3 (Wildfire Satellite) лидируют KNN (0,9209) и Ensemble
(0,9215). Этот датасет наиболее релевантен для задачи обнаружения
тепловых аномалий, и здесь ансамбль достигает наивысшего AUROC.

20.

Веса ансамбля и валидационный AUROC
После адаптивной подгонки весов на валидации основной
вклад даёт Махаланобис (w_mahal ≈ 0,68–0,96 на D1–D3), KNN
— минимальный (w_knn ≈ 0,007), дискриминативный MLP
сильнее на D1 (w_disc ≈ 0,28) и слабее на D2/D3 из-за тонкой
границы классов; остаточный AE занимает промежуточную роль
по датасетам (см. табл. 3.2). AUROC(val) стабильно высокий:
~0,849 / ~0,847 / ~0,851 для D1 / D2 / D3.
Таблица 3.2 – Оптимизированные веса компонент ансамбля

21.

Устойчивость и кривые ROC/PR
В табл. 3.3 AMVAD имеет наилучший средний ранг 2,00 и не
опускается ниже 3-го места на D1–D3, в отличие от бейзлайнов с
сильной вариацией рангов по датасетам; на радар-диаграммах
(рис. 3.2) это видно как более «ровный» профиль ансамбля. По
ROC/PR: на D1 кривые ROC у всех близки, различия яснее на PR;
на D2 LOF немного выигрывает в области малых FPR, ансамбль
располагается рядом.
Рисунок 3.2 – Радарная диаграмма: сравнение методов по ключевым метрикам
на всех датасетах
Таблица 3.3 – Ранги методов по AUROC на каждом
датасете и средний ранг

22.

Анализ ROC- и PR-кривых (D1–D3)
На D1 (EuroSAT: Forest vs All) разделимость высокая: ROC-кривые у всех методов почти совпадают у «идеального» угла,
различия заметнее на PR-кривых — у Isolation Forest и автоэнкодера выше precision на средних уровнях recall (рис. 3.3). На
более сложном D2 (Cropland vs Water+Vegetation) кривые ниже и расходятся сильнее, в ROC заметно выделяется LOF при
малых FPR (от порядка 0,05), ансамбль идёт следом как следующий по качеству (рис. 3.4). На спутниковом D3 (Wildfire:
NoFire vs Wildfire) ROC (и PR) у KNN и ансамбля почти совпадают и лучше остальных, тогда как One-Class SVM даёт
«пологий» ход ROC (слабое разделение на ранних порогах), Isolation Forest и SVM в целом ближе друг к другу и слабее на
визуально близких классах (рис. 3.5).
Рисунок 3.3 – ROC- и PR-кривые всех методов на D1
Рисунок 3.4 – ROC- и PR-кривые всех методов на D2
Рисунок 3.5 – ROC- и PR-кривые всех методов на D3

23.

Анализ кривых потерь
Кривая потерь AE демонстрирует гладкое
убывание без переобучения, что обусловлено
CosineAnnealing-расписанием и L2регуляризацией (weight_decay = 10⁻⁵). Кривая
BCE-потерь MLP показывает быструю
начальную сходимость, характерную для задач
с хорошо разделимыми классами в
пространстве ViT-признаков.
Рисунок 3.6 – Кривые потерь при обучении: Residual
AE (слева), Discriminative MLP (справа)

24.

Анализ распределений степеней аномальности
Гистограммы распределений степени
аномальности для нормальных и аномальных
образцов позволяют визуально оценить
разделимость классов.
Рисунок 3.7 – Распределения степени аномальности для нормальных и аномальных образцов D1

25.

Детальный анализ MCC
Коэффициент корреляции Мэтьюса позволяет
оценить согласованность бинарной
классификации на более глубоком уровне, чем
F1. Высокое значение MCC всегда
свидетельствует о высоких значениях каждой
из четырёх базовых метрик (TPR, TNR, PPV,
NPV)

26.

Заключение
Ансамбль показал наилучшую устойчивость среди протестированных методов:
средний ранг 2,00 по AUROC означает, что он стабильно в верхней группе на каждом
датасете, в отличие от отдельных алгоритмов с чередованием сильных и слабых
результатов. Доминирование Махаланобиса в оптимальных весах (w ≈ 0,68–0,96)
указывает, что глобальная ковариационная структура нормальных ViT-признаков —
главный информативный сигнал; использование Махаланобиса вместо средней
магнитуды признаков даёт ≥ 5 % выигрыша при прочих равных.
Автоэнкодер получил малый вес (≈ 0,017–0,031) — вероятно, его сигнал частично
дублирует Махаланобис, а skip-соединения могут улучшать реконструкцию и
аномалий, снижая дискриминативность ошибки. One-Class SVM оказался наименее
стабильным (средний ранг 5,33), особенно на D3, из-за чувствительности к ν, γ в
пространстве размерности 2304. Isolation Forest максимален на D1 (AUROC = 0,9942),
но слабее на D2 (AUROC = 0,8354), что иллюстрирует ограничения осевых (axisaligned) разбиений. LOF дал лучший AUROC на D2 (0,9237) и худший на D1 (0,9607) —
на сложной «норме» из нескольких подтипов с разной плотностью локальная
плотность становится решающей.