Проектирование, разработка и тестирование нейросетевой модели сегментации облаков на спутниковых изображениях

1.

Автономная некоммерческая организация
профессионального образования
«Международная Академия Информационных Технологий «ИТ ХАБ»»
Специальность: 09.02.07 «Информационные системы и программирование»
Квалификация: Программист, бизнес-ориентированный профиль: Data Engineer
Защита выпускной квалификационной работы на тему: «Проектирование, разработка и тестирование
нейросетевой модели сегментации облаков на спутниковых изображениях»
Защищается студент группы: 3П6-11.22
Белоусова Анна Олеговна
Дата защиты: 00 июня 2025 г.
Руководитель ВКР:
Дьяков Александр
Александрович,
преподаватель

2.

Введение, описание предметной области и проблемной зоны
Спутниковые данные позволяют получать большое количество информации о
состоянии атмосферы и в области дистанционного зондирования Земли. Однако
ручная обработка таких данных требует значительных временных и ресурсных
затрат.
Облачность является существенным фактором, который, во-первых, усложняет
анализ снимков, так как они закрывают объекты на поверхности, что снижает
точность наблюдений. Во-вторых, данные спутниковых наблюдений за
облачностью также являются важным объектом исследования, поскольку
облачность является чувствительным и наглядным индикатором
погодообразующих процессов и будущих условий погоды.

3.

Цель, постановка задачи и актуальность
Цель – разработка нейронной сети, которая сможет автоматически
сегментировать облака на спутниковых снимках.
Задачи:
1 Провести анализ существующих решений в сфере сегментации облаков
2 Спроектировать архитектуру нейронной сети
3 Подготовить набор данных для обучения
4 Обучить модель
5 Выполнить валидацию на тестовом наборе данных
6 Провести оценку точности модели
7 Сформулировать экономическое обоснование

4.

Цель, постановка задачи и актуальность
Создание алгоритма для обнаружения облаков на
спутниковых снимках актуально, потому что облака
мешают анализу поверхности Земли и искажают
данные. Такие алгоритмы помогают автоматически
выделять облачные области, улучшая точность
спутниковых данных. Но также их использование в
метеорологии, сельском хозяйстве, экологии и
других областях может дать много полезной
информации. Это особенно важно в условиях роста
объемов спутниковой информации и
необходимости быстрой обработки данных для
принятия решений.

5.

Цель, постановка задачи и актуальность
Алгоритмы, основанные на искусственном интеллекте, в наше время являются
одними из самых популярных в этой области, потому что они способны
автоматически анализировать огромные объемы данных с высокой точностью.

6.

Требования к разработке
Для построения архитектуры нейронной сети
используется фреймворк глубокого обучения, такой как
Keras. Keras особенно хорошо подходит для задач
компьютерного зрения, таких как классификация,
сегментация и обнаружение объектов. Встроенные
инструменты для работы с изображениями делают его
хоршим выбором для проектов, связанных с обработкой
спутниковых снимков.
Логотип Keras

7.

Проектирование
В результате работы будет разработана готовая модель, которая сможет
автоматически определять облака на изображениях, а также проведен детальный
анализ ее точности и производительности.
В качестве исходных данных используется набор Landsat 8 Cloud Cover Assessment
Validation Data, который включает спутниковые снимки с ручной разметкой
облачности.

8.

Проектирование
Схема задач

9.

Реализация
Проектирование архитектуры нейронной сети
Целью данной задачи является разработка архитектуры полностью сверточной
нейронной сети (FCN), которая будет использоваться для обнаружения облаков на
спутниковых снимках.
Архитектура модели представляет собой сверточную нейронную сеть, которая
состоит из нескольких ключевых блоков, каждый из которых выполняет
определенную задачу.

10.

Реализация
Архитектура нейронной сети

11.

Реализация
Подготовка набора данных для обучения
Для дальнейшего обучения нейронной сети будет использоваться набор данных
Landsat 8 Cloud Cover Assessment Validation Data. На первом этапе работы требуется
загрузить и провести предварительный анализ данных.
Это включает в себя изучение структуры данных, формата изображений и
соответствующих масок облаков. После этого необходимо выполнить
предварительную обработку данных: нормализовать значения пикселей,
разделить данные на обучающую и тестовую выборки.

12.

Реализация
Набор данных Landsat 8 Data – это коллекция
спутниковых снимков с ручной разметкой
облачности. В набор входят многоканальные
изображения со спутника Landsat 8, охватывающие 11
спектральных диапазонов - от прибрежного
аэрозольного до теплового инфракрасного, с
основным пространственным разрешением 30
метров.
Основной компонент - маски облачности, созданные
экспертами. Эти маски содержат пиксельную
классификацию на три категории: четкие облака,
ясные участки и сомнительные зоны.
Диапазоны 4-3-2
(красный, зеленый, синий)

13.

Реализация
Процесс подготовки данных
1 Проверка наличия в директории всех спектральных
каналов и маски.
2 Нормализация пикселей по каждому спектральному
каналу и изображения объединяются в 3D-массив.
3 Конвертация масок облачности в пятиканальное
представление: отсутствие данных, тени, чистое небо,
полупрозрачные и плотные облака.
4 Разбиение данных на фрагменты фиксированного размера
с фильтрацией фрагментов, содержащих чрезмерное
количество невалидных пикселей.
5 Сохранение готовых фрагментов в виде .npy-файлов.

14.

Реализация
На начальном этапе обучения модели был сформирован
репрезентативный набор данных, включающий снимки всех основных
типов ландшафтов: пустынных территорий, лесных массивов,
сельскохозяйственных угодий, кустарниковых зон, снежных покровов,
городских территорий, водных объектов и заболоченных участков.
Для каждого типа местности было отобрано по четыре характерных
тайла, учитывая фактор облачности - к каждому ландшафтному типу
добавили снимки с ясной погодой, плотной и умеренной облачностью, а
также отдельные примеры для валидации.
При подготовке данных были установлены ключевые параметры
обработки: размер фрагмента 400×400 пикселей, включение слоя с
маркировкой отсутствующих значений и порог отбрасывания невалидных
пикселей в 80%.