ИИ-модели для анализа зарплат в IT и контроля качества бисквитов

1. Итоговый проект по дополнительной профессиональной программе «ИИ-решения на Python для инженерных задач» 2026 год

Кузнецов Александр
Александрович
26.05.04 «Применение и
эксплуатация технических систем
надводных кораблей и подводных
лодок».
Эпсо4-13
10.10.26

2. Краткая характеристика предметной области, постановка задачи анализа данных в предметной области

Предметная область:
Анализ компенсаций в IT-индустрии — исследование структуры оплаты
труда технических специалистов
Контекст:
IT-сектор — драйвер экономического роста
Высокая мобильность специалистов
Постоянная нехватка квалифицированных кадров
Быстрое устаревание технологий и компетенций
Основная проблема:
Отсутствие объективных, данных-ориентированных методов оценки
справедливой компенсации IT-специалистов.
Конкретные задачи:
- Анализ распределения зарплат по должностям и опыту
- Выявление соотношения между признаками
- Построение регрессионной модели для прогноза конкретной суммы
- Создание классификационной модели для определения уровня
зарплаты
ДПП ПП «ИИрешения на Python
для инженерных
задач»
2

3. Примененные инструменты анализа данных

Язык программирования: Python
Программная среда: Google Collab
Библиотеки: Pandas, Numpy, Matplotlib, Seaborn, Scikit-learn/
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Формат файла: CSV (Comma-Separated Values)
Тип данных : числовые данные (целочисленные) и категориальные данные
(номинальные).
Функции : pandas, numpy, matplotlib, seaborn и scikit-learn для обработки,
визуализации и моделирования данных.
3

4. Выводы о практической значимости полученных результатов, перспективы дальнейшего анализа

ПРИКЛАДНАЯ ЦЕННОСТЬ:
Для бизнеса и HR:
- Объективная оценка кандидатов вместо субъективных мнений
- Оптимизация бюджета на персонал (точность прогнозов ±19k USD)
- Снижение текучки через справедливые компенсации
- Конкурентные преимущества на рынке труда
Для IT-специалистов:
- Понимание рыночной стоимости своих навыков
- Четкие критерии для карьерного роста
- Аргументы для переговоров о зарплате
- Выбор специализации с учетом оплаты
Главная перспектива: Формирование нового стандарта объективной оценки
специалистов, где решения основаны на данных, а не на интуиции или субъективных
оценках.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
4

5. Результаты анализа данных, их практическая интерпретация

ОСНОВНЫЕ РЕЗУЛЬТАТЫ:
1. Факторы влияния на зарплату:
Опыт (+42%): Каждый год = +3,500 USD к зарплате
Должность (+35%): IT Manager/Cloud Architect платят на 30-40% больше
Пол (<2%): Минимальное влияние (этический плюс)
2. Рыночная картина:
Старт: от 70k USD (IT Support)
Средний: 100-160k USD (большинство специалистов)
Эксперт: 200k+ USD (архитекторы, топ-менеджеры)
3. Качество моделей:
Прогноз суммы: 70% точность, ошибка ±19k USD
Классификация уровня: 78% точность
ДПП ПП «ИИрешения на Python
для инженерных
задач»
5

6. Результаты анализа данных, их практическая интерпретация

ДПП ПП «ИИрешения на Python
для инженерных
задач»
ПРАКТИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ:
Для найма (HR):
Опыт 5 лет ≈ 125k USD → реалистичное предложение
Cloud Architect дороже DevOps на 20% → бюджетный учет
Для карьеры (специалист):
Первые 5 лет критичны → максимум роста в начале карьеры
Смена на архитектора → +50k USD → целевое развитие
Порог 200k USD после 15 лет опыта → реалистичные ожидания
Для бизнеса (руководство):
Справедливая вилка ±15% от прогноза → удержание кадров
Инвестиции в опыт окупаются → рост на 3.5k USD/год
Специализация важнее стажа → фокус на развитии навыков
Для рынка:
IT Security самый массовый → высокий спрос, стабильные зарплаты
Cloud Solutions дефицитный → премиальная оплата
Поддержка = точка входа → программа роста внутри компании
6

7. Выводы о практической значимости полученных результатов

ДПП ПП «ИИрешения на Python
для инженерных
задач»
Решение задачи ИИ
Модель линейной регрессии показывает
удовлетворительные результаты (R² = 0.665), объясняя около
66.5% дисперсии зарплат. Наибольшее влияние на уровень
дохода оказывают позиции IT Support Specialist и Network
Administrator, пол сотрудника статистически незначим.
Средняя ошибка прогноза (MAE) — $21,527, при этом точность
выше для средних зарплат и ниже для крайних значений.
Модель полезна для оценки рыночной стоимости
специалистов, планирования бюджета и анализа факторов
дохода. Для повышения точности стоит расширить признаки
(образование, навыки, регион), увеличить объем данных и
попробовать более сложные алгоритмы. Модель является
хорошей отправной точкой для анализа зарплат в ИТ.
7

8. Общий вывод:

1.Датасет: Данные содержат информацию о трудоустройстве в IT: ID сотрудников,
опыт работы, пол, должность и зарплату. Датасет чистый, с минимальными
пропусками, содержит разнообразные должности и сбалансированное
распределение по полу.
2.Характеристики и общие зависимости: Анализ показал, что зарплата в среднем
растет с опытом работы, средние доходы различаются по должностям, пол
оказывает меньший эффект на уровень дохода. Наблюдаются выбросы на
крайних значениях зарплат.
3.Модель линейной регрессии: Линейная регрессия продемонстрировала
удовлетворительные результаты (MAE, RMSE, R²), объясняя значительную часть
вариации зарплат. Ключевые факторы влияния: опыт работы и занимаемая
должность. Модель точнее прогнозирует средние диапазоны зарплат.
4.Полученные навыки: 1.Предсказание: прогноз зарплаты для новых данных.
2.Прогнозирование: оценка будущих зарплатных диапазонов. 3.Оценка качества:
расчет метрик (MAE, RMSE, R²), анализ распределения ошибок, важности
признаков и визуализация результатов.
5.Что было не так и что можно улучшить: Для повышения точности модели
рекомендуется расширить набор признаков (например, добавить образование,
навыки, регион), увеличить объем данных и применить более сложные
алгоритмы машинного обучения. Также стоит учитывать крайние значения
зарплат для улучшения прогнозов.

9. Краткая характеристика предметной области, постановка задачи анализа данных в предметной области

Цель проекта: разработка модели машинного обучения для классификации изображений
бисквитов по четырём категориям качества (без дефекта, деформация формы,
посторонний объект, пересушивание) с целью автоматизации процесса контроля качества
на производстве.
Предметная область: автоматический контроль качества пищевых изделий, компьютерное
зрение, промышленный IoT, системы технического зрения на конвейерных линиях.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Задачи:
• Загрузка и анализ структуры датасета IndustryBiscuit с изображениями бисквитов
• Проведение предварительной обработки изображений (изменение размера,
нормализация, проверка качества)
• Исследовательский анализ: визуализация данных, оценка разнообразия и
сбалансированности классов, анализ яркости и насыщенности
• Подготовка данных для обучения модели: разделение выборки, кодирование меток,
расчёт весов классов, аугментация
• Построение и обучение нейросети (CNN) для классификации изображений
• Оценка качества модели, анализ ошибок, формулирование выводов и рекомендаций
для промышленного применения
Ожидаемый результат: модель, способная с приемлемой точностью распознавать тип
дефекта бисквита на изображении, что может быть использовано для создания прототипа
автоматической системы контроля качества на кондитерских производствах или на линиях
упаковки.
9

10. Примененные инструменты и методы интеллектуального анализа данных

Язык программирования: Python
Программная среда: Google Colab
Библиотеки: NumPy, Pandas, Matplotlib, Seaborn, PIL (Pillow), zipfile, os, Scikit-learn, TensorFlow / Keras.
Формат и тип данных: входные данные — 4900 изображений в формате JPEG с фиксированным разрешением
256×256 пикселей, организованные в папке Images/. Аннотации хранятся в CSV-файле с тремя столбцами: file (имя
файла), classDescription (название класса), classCode (числовой код).
Функции:
1. os.walk() / zipfile.ZipFile() — распаковка архива и обход файловой структуры датасета
2. PIL.Image.open() / img.resize() / img.convert('RGB') — загрузка, изменение размера и приведение изображений к
цветовому пространству RGB
3. np.array() / 255.0 — нормализация пикселей из диапазона [0, 255] в [0.0, 1.0]
4. colorsys.rgb_to_hsv() — преобразование цветового пространства для анализа яркости и насыщенности
5. train_test_split() — разделение выборки (70/15/15) со стратификацией для сохранения баланса классов
6. LabelEncoder() / to_categorical() — кодирование текстовых меток в числовые и one-hot преобразование
7. compute_class_weight() — расчёт весов классов для компенсации дисбаланса
8. ImageDataGenerator() — аугментация данных (повороты, сдвиги, зум, отражение) только для обучающей
выборки
9. MobileNetV2() / Sequential() / GlobalAveragePooling2D() / Dense() / Dropout() — построение архитектуры на базе
transfer learning
10. model.compile() / model.fit() / model.predict() — компиляция, обучение и получение предсказаний
11. EarlyStopping() / ModelCheckpoint() / ReduceLROnPlateau() — управление процессом обучения
12. confusion_matrix() / classification_report() — оценка качества модели и построение отчёта
13. seaborn.heatmap() / matplotlib.pyplot.plot() / imshow() — визуализация матрицы ошибок, графиков обучения и
распределений классов
ДПП ПП «ИИрешения на Python
для инженерных
задач»
10

11. Результаты анализа данных, их практическая интерпретация

Структура, качество и сбалансированность данных
Структура и объем данных:
Датасет IndustryBiscuit содержит 4900 изображений формата
JPEG, организованных в папке Images/ с отдельным CSVфайлом аннотаций (Annotations.csv). Данные распределены
по 4 классам: без дефекта (Defect_No) — 1896, деформация
формы (Defect_Shape) — 1860, посторонний объект
(Defect_Object) — 632, дефект цвета / пересушивание
(Defect_Color) — 512.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Качество и предобработка:
Выполнены преобразования: изменение размера до 224×224
пикселей, нормализация пикселей (деление на 255),
проверка на битые файлы. Все 4900 изображений успешно
обработаны, битые изображения отсутствуют (0 шт.), данные
полностью пригодны для обучения.
Сбалансированность классов:
Выявлена значительная несбалансированность классов:
максимальное количество изображений в классе "Defect_No"
(1896), минимальное в классе "Defect_Color" (512).
Соотношение max/min составляет 3.70, коэффициент
вариации 53.4%. Распределение классов: Defect_No (38.7%),
Defect_Shape (38.0%), Defect_Object (12.9%), Defect_Color
(10.4%).
11

12. Результаты анализа данных, их практическая интерпретация

Визуальный анализ и качество изображений
Общие характеристики:
Изображения внутри каждого класса обладают высокой
вариативностью: бисквиты представлены в разных ракурсах,
при разном освещении и на разном фоне. Это означает, что
модель должна учиться на признаках дефекта, а не на фоне
или положении объекта.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Средняя яркость по классам различается и связана с типом
дефекта:
Defect_No (норма) — самый светлый класс
Defect_Shape (деформация) — близок к норме
Defect_Object (посторонний объект) — темнее
Defect_Color (пересушивание) — самый тёмный класс
Средняя насыщенность подтверждает визуальные различия: у
класса пересушивания (Defect_Color) она выше за счёт
тёмных и красноватых участков. Это дополнительный
признак, который CNN использует при обучении.
Вывод: классы визуально различимы — CNN способна
разделить их с высокой точностью.
12

13. Результаты анализа данных, их практическая интерпретация

Подготовка данных, обучение модели и достигнутые результаты
Архитектура и обучение модели: Построена
свёрточная нейросеть на базе MobileNetV2 с
использованием transfer learning. Базовая часть
предобучена на датасете ImageNet и заморожена;
обучается только классификатор, добавленный сверху.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Применены три callback-механизма: EarlyStopping
(ранняя остановка при застое), ModelCheckpoint
(сохранение лучшей модели) и ReduceLROnPlateau
(снижение learning rate). Учтён дисбаланс классов через
class_weight.
Динамика обучения: Обучение проведено за 15 эпох. К
эпохе 4 валидационная точность достигла 96.87%, после
чего последовало кратковременное плато. Снижение
learning rate через ReduceLROnPlateau дало новый
прирост — на эпохе 8 точность достигла 97.55%, а
лучший результат — 97.82% — на эпохе 12..
Достигнутые метрики остаются умеренными:
Валидационная точность 97.82% при случайном уровне
25%. Модель пригодна для пилотного внедрения в
систему контроля качества.
13

14. Результаты обучения модели

Метрики на тестовой выборке: Точность модели —
98.23% на 735 изображениях, которые не участвовали в
обучении. Random-уровень — 25%.
Качество по классам: Precision, Recall и F1-score — в
диапазоне 0.97–0.99 для всех четырёх классов. Результаты
на редких классах не хуже, чем на массовых — дисбаланс
компенсирован.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Практический вывод: Модель пригодна для пилотного
внедрения в систему контроля качества. Ошибки возникают
только на изображениях со слабо выраженным дефектом.).
14

15. Выводы о практической значимости полученных результатов, перспективы дальнейшего анализа

Практическая значимость полученных результатов
:Разработанная модель классификации дефектов бисквитов
достигла точности 98.23% на тестовой выборке (735 изображений).
Macro-метрики: precision 0.984, recall 0.979, F1-score 0.981. Модель
пригодна для пилотного внедрения в систему автоматического
контроля качества на кондитерских производствах, где может
использоваться для предварительной сортировки продукции с
обязательной ручной доработкой в пограничных случаях.
ДПП ПП «ИИрешения на Python
для инженерных
задач»
Перспективы дальнейшего анализа: Для повышения точности и
расширения области применения целесообразно рассмотреть
следующие направления: увеличение объёма данных через сбор
реальных изображений с производства и активную аугментацию;
применение fine-tuning верхних слоёв MobileNetV2 для тонкой
настройки под специфику бисквитов; использование более
современных архитектур (EfficientNet, ResNet) для потенциального
прироста точности; внедрение детекции дефектов (YOLO) вместо
классификации — это позволит не только определять тип дефекта,
но и локализовать его на изображении..
15

16.

Спасибо за внимание!
Кузнецов Александр Александрович
www.sfedu.ru