Самообучение в машинном обучении: методы и результаты

1. Self-Supervised Learning в машинном обучении

Красников Н.С.
27.02.2026

2. Существующие методы обучения

Обучение по
размеченным
данным
Обучение с
частично
размеченными
данными
Обучение по
неразмеченным
данным
Самообучение
2

3. Введение

Self-Supervised Learning (SSL) — это подход, при котором модель
обучается на данных без явных меток, используя структуру самих
данных для создания задач обучения.
Преимущества:
• Не требует дорогостоящих размеченных данных.
• Позволяет использовать огромные объемы неразмеченных данных.
Ограничения:
• Требует тщательной настройки предтекстовых задач.
• Низкая точность
• Может быть вычислительно затратным.
3

4. Сравнительная таблица

Предполагается, что комбинирование и ансамблирование нейронных
Требует меток
Цель обучения
Преимущества
сетей в системах
и протоколах мониторинга
событийПримеры задач
информационной безопасности повысит эффективность работы
таких систем.
Явная
Классификация
Supervised
Learning
Unsupervised
Learning
SelfSupervised
Learning
Да
Ограничения
Высокая точность,
прозрачность
Требует
размеченных
данных
(классификация,
регрессия)
изображений,
прогнозирование
Нет
Неявная
(кластеризация,
снижение
размерности)
Кластеризация,
поиск аномалий
Не требует меток,
полезен для
исследования
Сложность
интерпретации
Нет (использует
псевдометки)
Создание задач для
обучения
представлений
Предсказание
поворота
изображения, MLM
Экономия на
размеченных
данных,
масштабируемость
Требует
настройки
предтекстовых
задач
4

5. Предтекстовые задачи

Предположение: чтобы предсказывать угол поворота, модель должна
уметь понимать расположение объектов на изображении.
5

6. Предтекстовые задачи

Определение области
местоположения части
изображения относительно
выбранного центра. Важно,
чтобы между областями
было некоторое расстояние.
При подготовке
изображений зашумлялись
цветовые каналы.
6

7. Предтекстовые задачи

Другие примеры:
• предсказание следующего элемента
слово (GPT)
кадр
• цветовая реконструкция
преобразование черно-белого изображения в цветное
• восстановление пропущенных частей данных
предсказание пропущенных слов
недостающие части на изображениях
7

8. Контрастное обучение

Часть изображения