Обучение нейронных моделей

1. Обучение нейронных моделей

ОБУЧЕНИЕ
НЕЙРОННЫХ
МОДЕЛЕЙ

2. Обучение с учителем (Supervised Learning)

Основа: наличие данных в виде «входной вектор» -> «верный выходной вектор»
Например: набор данных о квартире -> её кадастровая стоимость
Что в таком случае делает модель?
Она учится находить зависимость между входом (X) и правильным ответом (y).
Основные задачи
Классификация (категории): спам / не спам
Регрессия (числа): прогноз цены, температуры
Плюсы
+
Высокая точность при хорошем датасете
+
Чёткая цель обучения
Минусы
-
Требуется разметка данных (дорого и долго)
-
Плохо работает, если данных мало или они шумные

3. Обучение без учителя (Unsupervised Learning)

Основа: данных для обучения нет, но структуру верного ответа найти необходимо.
Пример: данные о покупках клиентов для сегментации или поиска похожих товаров
Что делает модель в этом случае?
Сама ищет взаимосвязи между входными данными и даёт предположительно верный ответ на поставленные вопрос.
Основные задачи
Кластеризация (группировка)
Снижение размерности (упрощение данных)
Плюсы:
+
+
Не нужна разметка
Можно находить скрытые закономерности
Минусы:
-
Сложно оценить качество
Результаты могут быть неочевидными

4. Переобучение (Overfitting)

Ключевая проблема работы с нейронными моделями
Что это такое?
Модель слишком хорошо запоминает обучающие данные, но плохо работает на новых. Так
себя и чувствует студент, заучивший наизусть билеты и неспособный ответить на хоть немного
видоизменённый вопрос.
На переобучение стоит подумать, если на обучении у модели отличные результаты, но на тесте
– отвратительные.
Причины:
× Слишком сложная модель
× Мало данных
× Шум в данных

5. Как бороться с переобучением?

Есть несколько способов противодействия переобучению:
При обучении с учителем
1.
Регуляризация (L1/L2): Добавление «штрафа» за слишком большие веса
признаков, чтобы модель не полагалась чрезмерно на отдельные параметры.
2.
Аугментация данных: Искусственное увеличение выборки (повороты фото,
изменение яркости), чтобы модель видела объекты в разных условиях.
3.
Ранняя остановка (Early Stopping): Прекращение обучения, как только ошибка
на проверочных данных начинает расти, даже если на тренировочных она всё
ещё падает. [5, 6, 7, 8]
При обучении без учителя:
1.
Метод локтя (Elbow Method): Помогает выбрать оптимальное количество
кластеров, при котором сложность модели сбалансирована с качеством
описания данных.
2.
Использование Dropout: В нейросетях (автокодировщиках) это случайное
отключение связей, которое заставляет сеть искать общие закономерности, а
не запоминать входы.
3.
Уменьшение сложности (Pruning): Сокращение количества параметров
модели или «обрезка» ветвей в иерархических деревьях кластеризации.

6. Иные проблемы обучения

1. Недообучение (Underfitting)
Модель слишком простая и не улавливает закономерности
4. Несбалансированные классы
Например:
2. Смещение и разброс (Bias-Variance tradeoff)
95% писем — не спам
Bias (смещение) → модель слишком простая
5% — спам
Variance (разброс) → модель слишком чувствительная
Модель может просто всегда говорить «не спам» и казаться
точной
3. Качество данных
Шум
Ошибки разметки
Недостаток данных
5. Переобучение на утечках данных (Data Leakage)
Модель случайно получает информацию из будущего или теста
6. Интерпретируемость
Сложные модели (например нейросети) трудно объяснить