Нейронные сети. Задачи компьютерного зрения

1. Нейронные сети. Задачи компьютерного зрения

Практическая работа 4/8

2. План занятия

1. Введение в нейронные сети.
2. Задачи, решаемые нейронными сетями.
3. Примеры использования нейронных сетей.
4. Компьютерное зрение.
5. История развития компьютерного зрения.
6. Задачи компьютерного зрения.
7. Применение компьютерного зрения.
8. Современные тренды в компьютерном зрении.
9. Практическая работа
Кафедра
Цифровых технологий

3. Что такое нейронная сеть?

• Нейронная сеть (нейросеть) – это программа,
которая умеет обучаться на основе данных и
примеров. Т.е. она не работает по готовым
правилам, а формирует алгоритм в процессе
обучения.
• Живой аналог нейросети: человеческий мозг.
Кафедра
Цифровых технологий

4. Слои нейросети

• Для повышения скорости решения задач с помощью
нейросети, нейроны располагают на разных слоях.
• Базовые слои нейросети:
• Входной слой: получение данных, предобработка.
• Скрытый слой: обработка данных алгоритмами нейросети.
Чем больше слоев, тем выше качество обработки.
• Выходной слой: выдача результата, полученного через
нейросеть.
Кафедра
Цифровых технологий

5. Строение нейрона головного мозга

Кафедра
Цифровых технологий

6. Упрощенный пример работы нейросети

Кафедра
Цифровых технологий

7. Алгоритм работы нейросети

• За проектирование и работу алгоритма ответственны
специалисты по Data Science.
• Алгоритм:
1. Постановка задачи для нейросети.
2. Сбор исходных данных для обучения модели нейросети.
3. Анализ данных – выявление скрытых зависимостей и некорректных
данных.
4. Обучение нейронной сети – обучение алгоритма для нахождения
взаимосвязей в данных.
5. Мониторинг работы нейросети на реальных данных.
6. Дообучение нейросети (по необходимости повторить шаг 5).
Кафедра
Цифровых технологий

8. Как обучается нейросеть?

• Еще раз, нейросеть не программируется, а
обучается!
• Алгоритмы и инструкции своей работы нейросеть
формирует самостоятельно.
• Основная идея: дать нейросети достаточно
попыток для формирования корректного
результата.
Кафедра
Цифровых технологий

9. Пример работы нейросети для генерации изображений

Кафедра
Цифровых технологий

10. Как обучается нейросеть?

• Этапы:
1. Получение данных из датасета (задействуются случайные
веса между нейронами).
2. Формирование предсказания (скорее всего неточного).
3. Вычисление ошибки: насколько точно нейросеть установила
связь между запросом и результатом.
4. Корректирование ошибки и обновление весов.
5. Повторение шагов 3, 4, пока предсказание не будет
приемлемым. Такие попытки называются эпохами обучения.
Кафедра
Цифровых технологий

11. Основной риск обучения нейросети

• Переобучение – излишняя адаптация под данные,
приводящая к риску игнорирования других важных
деталей в сторонних данных.
Кафедра
Цифровых технологий

12. Виды нейронных сетей

• Перцептроны;
• Многослойные;
• Рекуррентные;
• Сверточные;
• Генеративные.
Кафедра
Цифровых технологий

13. Перцептрон

• Первая модель нейросети,
запущенная на нейрокомпьютере
«Марк I».
• Разработана в 1958 г. Фрэнком
Розенблаттом.
• Умел настраивать веса и
корректировать ошибку.
• Мог распознавать некоторые
буквы алфавита, сканировать
изображения.
Кафедра
Цифровых технологий

14. Многослойная нейросеть

• Недостаток перцептрона:
сложность распознавания
объектов в нестандартных
формах и условиях.
• Многослойная модель позволяет
выделять сложные признаки из
объектов и решать задачи более
гибко.
• Пример: распознавание объектов
вне зависимости от освещения и
угла наклона.
Кафедра
Цифровых технологий

15. Рекуррентная нейросеть

• Предназначена для работы
с последовательностями:
текст, аудио, видео.
• Основная идея:
«запоминание» цепочки
данных и дальнейшее
распознавание смысла и
предсказание будущих
данных в цепочке.
Кафедра
Цифровых технологий

16. Сверточная нейросеть

• Применяются для работы с
изображениями.
• В основе лежат два алгоритма:
свертка и пулинг.
• Свертка – алгоритм,
осуществляющий послойное
разбиение изображения.
• Пулинг – процесс кодирования
слоев изображения и нахождения
на них важных признаков.
Кафедра
Цифровых технологий

17. Генеративная нейросеть

• Предназначена для
генерации контента.
• «Когда получается хорошо
– люди их боятся. Когда
плохо – чувствуют свое
превосходство».
• Примеры: Midjourney,
ChatGPT, Яндекс.Шедеврум.
Кафедра
Цифровых технологий

18. Задачи нейросетей

• Классификация. Пример: определение соответствует ли
человек категории населения, которой положены льготы.
• Прогнозирование. Пример: прогнозирование стоимости
акций компании.
• Распознавание. Пример: обнаружение пола человека по
фото.
• Решение задач без учителя. Пример: выбор аудитории
для таргетированной рекламы.
Кафедра
Цифровых технологий

19. Реальные примеры использования нейросети

• Нейропоиск, встроенный в поисковую систему Яндекс.
• Нейросеть ChatGPT для генерации текста по запросу.
• Применение в банковских, государственных приложениях
голосовых помощников для общения и решения сложных
вопросов.
• Анализ активности в соцсети VK для подбора актуального
контента.
• Автоматические фильтры в камере смартфона.
• Роботы-доставщики и беспилотные автомобили.
Кафедра
Цифровых технологий

20. Сможет ли нейросеть заменить человека?

• Нейросети демонстрируют способность автоматизировать
рутинные задачи и повышать эффективность работы в
различных сферах.
• Но есть ограничения:
• Недостаток креативности в решении сложных проблем;
• Отсутствие эмоций и интуиции для задач где требуется эмпатия и
понимание человеческих переживаний;
• Риск непредсказуемости выдаваемого результата в некоторых сферах.
• Роль человека остается важной в следующих сферах: постановка
задач, контроль качества, стратегическое управление.
Кафедра
Цифровых технологий

21. Что такое компьютерное зрение?

• Компьютерное зрение (англ. Computer Vision, CV) – это область
ИИ, связанная с созданием программ и систем, позволяющих
компьютерам анализировать и понимать визуальную
информацию.
• Компьютерное зрение является одной из задач глубокого
обучения – разновидности машинного обучения, которая
использует для решения задач нейросети.
• Основная задача компьютерного зрения: научить компьютер
видеть изображения, как человек.
Кафедра
Цифровых технологий

22. Как компьютер видит изображения?

Кафедра
Цифровых технологий

23. Проблема распознавания изображений нейросетью

• В нейросети отсутствует рецептивный слой, отвечающий
за обработку большой области целиком и оперирование
высокоуровневыми признаками.
• Нейросеть распознает характеристики предмета
(границы, цвет, текстура, градиент), которые
складываются из пикселей и помогают
классифицировать изображение.
Кафедра
Цифровых технологий

24. История развития компьютерного зрения

• 2000-е: ученые определяют и заносят признаки
изображения в компьютер вручную (hand-crafted
features). В дальнейшем подключили нейросети для
нахождения закономерностей. (28% ошибок).
• 2012 г.: появление сверточных нейросетей,
уменьшивших вероятность ошибки до 5%.
• 2015 г.: нейросети обогнали человека в точности
распознавания изображений (3.6% ошибок).
Кафедра
Цифровых технологий

25. Задачи компьютерного зрения

• Классификация;
• Локализация;
• Детектирование;
• Сегментация.
Кафедра
Цифровых технологий

26. Классификация и локализация

• Классификация – задача, при которой объекту
присваивается определенный класс.
• Нейросеть определяет объект в одну из групп,
которую знает.
• Локализация – задача определения
местоположения объекта.
Кафедра
Цифровых технологий

27. Пример

Кафедра
Цифровых технологий

28. Детектирование и сегментация

• Детектирование – локализация и классификация объекта
на изображении в режиме реального времени.
• Семантическая сегментация – отделение объекта на
изображении и наложение на нее маски – линии,
очерчивающей объект.
• Сегментация объектов – задача отделения объекта на
изображении и наложения маски, а также классификации
объектов и окрашивания маски разными цветами.
Кафедра
Цифровых технологий

29. Пример

Кафедра
Цифровых технологий

30. Алгоритм работы генеративной нейросети

Кафедра
Цифровых технологий

31. Алгоритм работы компьютерного зрения

Кафедра
Цифровых технологий

32. Применение компьютерного зрения

• Безопасность: FaceID; оплата с помощью
биометрии; камеры видеонаблюдения на
дорогах.
• Промышленность: определение дефекта
материала при постройке зданий.
• Медицина: сканирование раковых опухолей
и определение их злокачественности.
• Распознавание текста: извлечение текста из
изображения; сканирование и краткий
пересказ документов.
Кафедра
Цифровых технологий

33. Тренды в компьютерном зрении

• Беспилотные автомобили и
роботы-курьеры;
• Самоходные роботы (курьеры,
Boston Dynamics и др.);
• Космические исследования;
• Распознавание эмоций
окружающих;
• Обработка аудиосигналов
(голосовые помощники,
голосовые сообщения).
Кафедра
Цифровых технологий

34. Практическая работа: задание 1

Генерация изображения и сравнение с оригиналом.
1. Возьмите в качестве оригинального примера любой
окружающий вас предмет или человека.
2. Детализированно опишите выбранный объект: что это за
объект, какая форма, цветовые детали, внешние особенности и
т.п.
3. Вставьте свое описание в нейросеть Яндекс Шедеврум
4. Сгенерируйте изображение в соответствие со своим описанием
5. Опишите детали, которые отличаются от оригинального объекта
Кафедра
Цифровых технологий

35. Пример выполнения задания 1

• Запрос: «Ваза для цветов вытянутая вверх. Основной цвет кремовый.
Основание прямоугольное. Центральный цвет вазы серебристый.
Ваза украшена рисунком из цветов».
Оригинальный
объект
Результат
генерации
Кафедра
Цифровых технологий

36. Практическая работа: задание 2

1. Сгенерируйте по алгоритму в задании 1 еще три изображения
(общее количество – 4).
2. Дайте краткое описание основному объекту на изображении (23 слова).
3. Загрузите полученные изображения в «Поиск по картинке»
Яндекс и выберите описание, наиболее совпадающее с
оригинальным.
4. Сделайте сравнительную таблицу со столбцами: Изображение,
Оригинальное описание, Описание нейросети.
5. Оцените правильность распознавания изображений по
семантическому смыслу (4 из 4, 1 из 4 и т.д.)
Кафедра
Цифровых технологий

37. Пример выполнения задания 2

Ваза с цветами
Изображение
Оригинальное
описание
Описание нейросети
Ваза с цветами
Ваза с
ромашками
Кафедра
Цифровых технологий

38. Практическая работа: задание 3

1. Повторите алгоритм из задания 1 для нескольких
объектов:
1. Возьмите за оригинал несколько объектов и расположите их
рядом друг с другом.
2. Опишите характеристики объектов.
3. На основе составленного описания сгенерируйте
изображение, используя Яндекс Шедеврум.
4. Опишите детали, которые отличаются от оригинального
изображения.
Кафедра
Цифровых технологий

39. Пример выполнения задания 3

Запрос: «Белый iPhone 5S лежит на черном кожаном
блокноте. Рядом лежит ручка Parker серебристого цвета».
Генерация
Оригинал
Кафедра
Цифровых технологий

40. Практическая работа: задание 4

1. Пройдите тест Тьюринга, используя изображения на следующем
слайде.
2. Самостоятельно определите вид каждого попугая на картинках,
используя следующий список: «какаду», «корелла», «волнистый
попугай», «кеа».
3. Составьте таблицу со следующими столбцами: Изображение,
Выбранный вид. Заполните таблицу на основе ваших вариантов.
4. Загрузите изображения в «Поиск по картинке» Яндекс и получите его
результаты распознавания.
5. Добавьте в таблицу столбец «Результат распознавания» и получите
ответы нейросети. Впишите результаты распознавания в столбец.
6. Подсчитайте количество ваших ошибок и ошибок нейросети и
сделайте вывод о ее качестве.
Кафедра
Цифровых технологий

41. Изображения

Кафедра
Цифровых технологий

42. Пример выполнения задания 4

Изображение
Выбранный вид
Овчарка
Упс, не угадал
О, это же овчарка!
Изображение
1:0 в пользу нейросети.
Пока она совершеннее
человека.
Выбранный
вид
Результат
распознавания
Овчарка
Мопс
Кафедра
Цифровых технологий