Нейронные сети. Лекция 3+

1. Нейронные сети

2.

3. Структура искусственного нейрона

-;
x1, x2, …xN – входной вектор сигналов;
x0 – входной сигнал поляризатора;
w0, w1, w2, …wN – вектор весовых коэффициентов;
N
u x j * w j - выходное значение сумматора;
j 0
y=f(u) - функция активации нейрона;

4. Модель нейронной клетки по МакКаллоку-Питсу

1, u 0;
y (u )
0, u 0;

5. Блок-схема обучения персептрона

6.

7. Правило Видроу-Хоффа

wi j (t 1) wi j (i ) wij ;
wij x j (d i yi );

8.

p
E ( y
k 1
(k )
i
d
(k ) 2
i
)

9. Сигмоидальный нейрон

Функция активации сигмоидального нейрона
бывает двух типов:
- униполярная;
- биполярная.

10.

а) униполярная функция:
1
f ( x)
1 e x
б) биполярная функция:
f ( x) tanh( x)

11.

а) Дифференциал униполярной функции:
df ( x)
f ( x)(1 f ( x))
dx
б) Дифференциал биполярной функции:
df ( x)
2
(1 f ( x))
dx

12.

Сигмоидальный нейрон обучается с учителем
путем минимизации целевой функции:
1
2
E ( yi d i )
2
где
N
yi f (ui ) f ( wij x j )
j 0
Градиент целевой функции имеет следующий
вид:
df (ui )
dE
jE
ei x j
dwij
dui
где ei yi di

13.

Если ввести обозначение:
df (ui )
i ei
dui
то градиент целевой функции примет
следующий вид:
j E x j i
а
уточнение
весовых
коэффициентов
производиться по следующей формуле:
wi j (t 1) wi j (i) i x j ;
Где - коэффициент обучения, в диапазоне
от 0 до 1.

14. Блок-схема обучения сигмоидального нейрона

15.

Обучение градиентным методом обеспечивает
нахождение, только локального минимума, для
нахождения глобального минимума вводиться
понятие момента: w (t 1) x w (i);
ij
i j
ij
Где - коэффициент момента.

16. Нейроны типа «Адалайн»

17.

18.

19.

20.

xj
xj
x12 x 22 ...x n2
w wi1 , wi 2 , ...wiN x1
T
ui w x2 x x2 x1 x2 cos 12
T
T
1
ui cos 12

21.

x1
2
2
2
x x1 x 2 ...x n
x 2 x 2 ...x 2
2
n
1
2
2
2
x2
x 2 x 2 ...x 2
2
n
1
2
2
xn
...
x 2 x 2 ...x 2
2
n
1
xn
x1
x2
...
2
2
2
2
2
2
2
2
2
x1 x2 ...xn x1 x2 ...xn
x1 x2 ...xn
2
x12 x22 ...xn2
1
2
2
2
x1 x2 ...xn

22. Правило Гроссберга

23.

24.

25. Нейроны типа WTA

26.

27.

28.

29. Модель нейрона Хебба