Архитектуры свёрточных нейронных сетей

1.

Архитектуры
свёрточных нейронных сетей

2.

План лекции
1. Свёрточная нейронная сеть
2. LeNet
3. AlexNet
4. VGG
5. Inception
6. ResNet
7. Современные архитектуры свёрточных нейронных сетей

3.

Свёрточная нейронная сеть (CNN)

4.

Свёрточная нейронная сеть (CNN)

5.

LeNet

6.

LeNet
Замечания:
• 1998 год
• первая свёрточная нейронная сеть для классификации
• задача: распознавание цифр
• свёртка-пуллинг-нелинейность

7.

AlexNet

8.

AlexNet
Замечания:
• 2012 год
• революция не только в области CNN, но и DL, в принципе
• две свёртки подряд
• зачатки идеи Dropout
• ReLU – функция активации
• параллельное обучение

9.

VGG

10.

VGG
Замечания:
• глубина 13-19 слоёв
• последовательности свёрток малого размера (3x3)
• 3 полносвязных слоя на выходе

11.

Inception (GoogLeNet)

12.

Inception (GoogLeNet)

13.

Inception (GoogLeNet)
Замечания:
• 1x1 фильтр (Bottleneck-слой)
• Inception модуль
• дополнительные выходы (помогают с затуханием ОРО)

14.

ResNet

15.

ResNet

16.

ResNet
Замечания:
• residual connection
• качественно большая глубина (ResNet-152 – 152 слоя)
• можно рассматривать как композицию раличных моделей

17.

Архитектуры CNN
• Inception v2, v3, v4
• Xception
• DenceNet
• SqueezeNet
• ENet
• SENet
• MobileNet v1, v2, v3
•…