Нейронные сети Введение
Физиологический нейрон
Блочная диаграмма нервной системы
Нейроны
Формальная модель нейрона
Формальная модель нейрона
Активационные функции
Модель нейрона Мак-Калока – Питца
w1=0.1, q=0, k=0.1
k=0.1, w1=0.1, w2=0.3
Кусочно-линейная
Сигмоидальная
k=0.1, w1=0.1, w2=0.3
q=0, , w1=0.1, w2=0.3
RBF (WTA)
Нейронная сеть
Слой нейросети
Режимы функционирования нейросетей
Формальная модель сети
Архитектуры НС (классификация)
Однослойная сеть
Многослойная сеть (2 слоя)
Сеть прямого распространения
Многослойная сеть прямого распространения (к слоев)
Рекуррентные сети
Многослойные рекуррентные сети
Виды обучения
Классы алгоритмов обучения нейронных сетей
Вселенский разум
Вопрос
литература
Темы рефератов
10.90M
Категории: ИнформатикаИнформатика ФизикаФизика

Нейронные сети. Введение

1. Нейронные сети Введение

Корлякова М.О.
2019

2. Физиологический нейрон

3. Блочная диаграмма нервной системы

Рецепторы
Нейронная
Сеть
эффекторы
Отклик
возбуждение
Блочная диаграмма нервной
системы

4.

1942 – Мак-Каллок – Питц
1948 – Н.Винер – «Кибернетика»
1949 – Хебб
1949 – Аттли - обученная нейросеть
1960 – алгоритм обучения по наименьшим
квадратам (Least mean-square - LMS)
1960-1970 – Розенблат – обучение
перцептрона
1969 – Минский – Пайперт –
фундаментальное ограничение линейных
нейросетей.

5.

1967 – Кован – сигмоидальная функция
1980 – Теория Адаптивного Резонанса –
АRТ
1970-1980 – самоорганизация – Карты
Кохонена
1980 – Гросберг – конкурентное обучение
1982 – Хопфилд – функция энергии для
описания рекуррентных сетей
1986 – Алгоритм обратного
распространения по ошибке

6. Нейроны

Хебба
Маккалока – Питца
Сигмоидный
Гросберга
Радиальный
WTA

7. Формальная модель нейрона

1
bа0
x1
а1
w1
xn
аn
wn
SNET
y
f(y)
f(s)

8. Формальная модель нейрона

n
y= f(S)= f( е
wi x i + b)
i= 1

9. Активационные функции

Линейные.
Нелинейные.

10. Модель нейрона Мак-Калока – Питца

y
y
S
S
(-1,1)
(0,1)

11. w1=0.1, q=0, k=0.1

S(i)=sum(X(:,i).*W);
Если ((S(i)+q)*k)>=0 , y(i)=1, иначе y(i)=0
W2=0.3
w2=-0.1
1
0.5
1
0
15
0.5
10
1
15
5
0
5
0
-5
-5
-10
-10
-15
-15
5
0
10
15
0
10
5
-5
0
-5
-10
-10
-15
-15

12. k=0.1, w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
Если ((S(i)+q)*k)>=0 , y(i)=1, иначе y(i)=0
q=0,
q=3
1
0.5
1
0
15
0.5
10
10
0
5
15
15
10
0
5
0
-5
-5
-10
-10
-15
-15
5
10
0
5
-5
0
-5
-10
-10
-15
-15

13. Кусочно-линейная

Y
S

14. Сигмоидальная

Y
S

15. k=0.1, w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
y(i)=1/(1+exp((-S(i)+q)/k));
q=0,
q=2,
1
1
0.8
0.8
0.6
0.6
0.4
0.2
0.4
0
-3
0.2
-2
3
0
-5
-1
2
0
0
1
-1
2
-2
3
-3
1
0
10
5
5
10
0
15
-5

16. q=0, , w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
y(i)=1/(1+exp((-S(i)+q)/k));
k=0.1,
k=0.5
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
-3
0
-15
-2
-10
-1
1
0
0
1
-1
2
-2
3
-3
3
2
-5
15
0
10
5
5
0
-5
10
15
-10

17. RBF (WTA)

2/k)
(-r
Y(r)=e
r=||X-W||
k=1
k=5
1
1
0.8
0.8
0.6
0.6
0.4
0.4
0.2
55
0.2
5
0
0
0
0
-5
0
5
-5
-5
-5

18. Нейронная сеть

Число слоев/число нейронов по слоям
Обратные связи
Активационные функции
Число входов
Число выходов
Алгоритм настройки весов(обучения)
Тип задачи, решаемой сетью

19. Слой нейросети

Группа нейронов сети:
Общие функции (задачи)
Общие внешние связи
Общие входы
Зачем выделять слой?

20. Режимы функционирования нейросетей

Обучение
Работа

21. Формальная модель сети

f(X)=Net(X)

22. Архитектуры НС (классификация)

Тип обучения
Класс алгоритмов оучения
Число слоев:
С учителем
Без учителя
Однослойные
многослойные.
Обратные связи:
Нет – сети прямого распространения
Есть – рекуррентные сети.

23. Однослойная сеть

w
y1
OUT1
x1
y2OUT2
x2
yp OUTn
xn
персептрон
Слой 1
y i = fi (
е
l = 0,n
x l wl )

24. Многослойная сеть (2 слоя)

Слой 0
Слой 1
W2к
W1w
x1
Слой 2
y1
1
1
y2
x2
2
2
yk
y
xn
m
k
2
yi = fi (
е
j = 0.m
2
f j ( е xl wl )W j )
1
1
l = 0,n

25. Сеть прямого распространения

x1
1
x2
2
Слой 0
x3
i
m
Слой 1
y1
ym

26. Многослойная сеть прямого распространения (к слоев)

w1(11)
X1
wk(11)
1
1
y1
1
D1
-
E1
w2(1s)
X2
Eyi
i
wk(i,j)
yj
j
Dj
-
Exj
j+1
Yj+1




Xn
W 1(nm)
Dj+1

yp
m
1
s
p
k-1
y i = fi (
е
j = 0.m
Dp
-
k
Ep
f j ( е xl wl )W j )
l = 0,n

27. Рекуррентные сети

y1
y2
yn

28. Многослойные рекуррентные сети

29. Виды обучения

С учителем
T={(Xi,di)}, i=1,N
Xi- входной вектор
di – выходной вектор
Без учителя
T={Xi}, i=1,N
Xi- входной вектор

30. Классы алгоритмов обучения нейронных сетей

wkj
«Правило Хебба»
Коррекция по ошибке
e y X i di
Стохастическое
обучение
1
E wkj xk x j
2 j k ( j k )
«Правило
соревнования» –
конкурентное
обучение
wkj xi wkj , 0

31. Вселенский разум

32. Вопрос

Вариант 1
Вычислить реакцию
порогового нейрона с
W=[ 1 ,-1] на входное
воздействие Х=[0 ,1] c
порогом Θ=0
Вариант 3
Вычислить реакцию
линейного нейрона с
W=[ -1 ,-1] на входное
воздействие Х=[0 ,1] c
порогом Θ=0 и наклоном
k=1
Вариант 2
Вычислить реакцию
сигмоидного нейрона с
W=[ -1 ,1] на входное
воздействие Х=[1 ,1] c
порогом Θ=0 и наклоном
k=1
Вариант 4
Вычислить реакцию
радиального нейрона с
W=[ 1 , 1] на входное
воздействие Х=[0 ,1] c
радиусом k=1

33. литература

Комарцова Л.Г. Максимов А.В.
Нейрокомпьютеры – М.:Из-во МГТУ 2004.

34. Темы рефератов

Критика моделей искусственного
интеллекта предложенных в НФ
литературе
Модели формальных нейронов (не МакКалока-Питца): их достоинства и
недостатки.
Модель обучения по Дельта-правилу:
исследовать ограничения и возможнсти.
English     Русский Правила