Нейроны и биологические нейронные сети. Линейная регрессия как математическая модель единичного нейрона

1.

Санкт-Петербургский государственный университет телекоммуникаций
им. проф. М.А. Бонч-Бруевича
ФИЗИЧЕСКИЕ ОСНОВЫ
НЕЙРОННЫХ СЕТЕЙ И СЕНСОРНЫХ СИСТЕМ
Лекция 5
Нейроны и биологические нейронные сети.
Линейная регрессия как математическая модель единичного нейрона
Выборнова Анастасия Игоревна

2. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

3. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

4. Нейроны и биологические нейронные сети

Искусственные нейронные сети —
математические модели, а также их программные
или аппаратные реализации, построенные по
принципу организации и функционирования
биологических нейронных сетей.
Биологическая нейронная сеть — совокупность
нейронов, которые связаны или функционально
объединены в нервной системе, выполняют
специфические физиологические функции.

5. Нейроны и биологические нейронные сети

Нервная система человека построена из нейронов
— клеток, способных (помимо прочего)
принимать, обрабатывать и передавать
электрохимические импульсы.
В организме человека находится более 85
миллиардов нейронов.

6. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

7. Строение нейрона

Нейрон — структурно-функциональная единица нервной
системы.
Нейрон является клеткой и как большинство клеток состоит
из:
• Ядра (хранение и передача информации).
• Цитоплазмы — жидкости внутри клеток и органелл:
• Эндоплазматического ретикулума и рибосом (синтез
белка).
• Митохондрий (производство энергии).
• Аппарат Гольджи (сортировка и преобразование
белков).
• и др.

8. Строение нейрона

Нейрон является клеткой и как большинство клеток состоит из
(продолжение):
• Мембраны.
• Цитоскелета
• Отростков.

9. Строение нейрона

10. Типы нейронов

• Афферентные нейроны (чувствительные, сенсорные,
рецепторные) — первичные клетки органов чувств,
получают сигнал от клеток других типов, передают
нейронам.
• Эфферентные нейроны (эффекторные, двигательные,
моторные) — конечные нейроны, получают импульс через
дендриты от других нейронов, передают через аксон
клеткам органов-мишеней.
• Ассоциативные нейроны (вставочные или
интернейроны) — осуществляют связь между
эфферентными и афферентными.
• Секреторные нейроны — выделяют в кровь или
межклеточное пространство нейрогормоны.

11. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

12. Нейронные сети: дендриты и аксоны

Сеть из нейронов в организме формируется при
помощи отростков нейронов двух типов.
Дендриты — короткие и разветвленные, принимают
нервный импульс извне и передают телу нейрона.
Аксон — обычно один, длинный отросток, проводит
нервный импульс от тела нейрона и передает его
другим нейронам или другим органам.
1 нейрон может связываться с большим числом
(тысячи и десятки тысяч) других нейронов.

13. Нейронные сети: дендриты и аксоны

Сеть из нейронов в организме формируется при
помощи отростков нейронов двух типов.
Дендриты — короткие и разветвленные, принимают
нервный импульс извне и передают телу нейрона.
Аксон — обычно один, длинный отросток, проводит
нервный импульс от тела нейрона и передает его
другим нейронам или другим органам.
1 нейрон может связываться с большим числом
(тысячи и десятки тысяч) других нейронов.

14. Дендриты

Дендриты могут быть очень разнообразны по
структуре ветвления, в зависимости от функции
клетки.

15. Аксоны

Аксоны — длинные (до
одного метра у крупных
животных), тонки отростки
с ветвлением на конце.

16. Аксоны

Состав аксона:
• Цитоскелет (волокна и микротрубочки).
• Аксоплазма
• Митохондрии
• Эндоплазматический ретикулум (без рибосом)
• У некоторых — оболочка из «накручивающихся» на
аксон шванновских клеток (электроизоляция,
дополнительная опора, питание). Промежутки между
шванновскими клетками — перехваты Ранвье.
На конце аксона находится разветвление — терминаль.

17. Аксоны

Скорость передачи импульса — до 100 м/с.

18. Типы соединений аксона

19. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

20. Синапсы: электрические, химические и смешанные

Синапс — место контакта между двумя нейронами
или между нейроном и органом-мишенью.
Классификация синапсов:
• Возбуждающие.
• Тормозящие.
• Химические.
• Электрические.
• Смешанные.

21. Химический синапс

Химический синапс — синапс, роль переносчика сигнала
в котором играет химическое вещество — нейромедиатор
(ГАМК, глицин, глутаминовая кислота, аспарагиновая
кислота, адреналин, дофамин, серотонин…)
Пресинаптическая часть — окончание аксона,
содержащее синаптические пузырьки (40-50 нм) с
нейромедиатором (или антагонистом нейромедиатора) и
насосы обратного захвата.
Синаптическая щель — пространство 20-30 нм.
Постсинаптическая часть — мембрана с рецепторами к
нейромедиаторам.

22. Химический синапс

23. Электрический синапс

Электрический синапс — электрический щелевой
контакт между двумя нейронами или нейроном и
клеткой другого типа.
В отличие от химического синапса — могут быть и
однонаправленными и двунаправленными.
Синаптическая щель 3-5 нм. Через нее проходят от
двух соединяющихся частей коннексоны —
упорядоченные белковые структуры, через которые
могут проходить ионы и небольшие молекулы,
обеспечивая перемещение электрического заряда.

24. Электрический синапс

25. Смешанный синапс

Смешанный синапс — совмещение химического
и электрического синапса.

26. Синапсы

Большинство синапсов — химические.
Электрические синапсы — в мозге
млекопитающих (вместе с химическими) и ЦНС
низших позвоночных и беспозвоночных.
Электрический синапс — меньшая по сравнению с
химическим задержка сигнала.

27. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

28. Возбуждение нейрона

Возбуждение нейрона — геренация нейроном потенциала
действия.
• Мембрана нейрона содержит насосные каналы, создающие
различные концентрации ионов Na+ и K+ вне клетки и
внутри нее.
• Мембрана также содержит натриевые и калиевые каналы,
которые могут быть закрыты и препятствовать
выравниванию концентраций Na+ и K+ или открытыми и
обеспечивать это выравнивание.
• Открытие или закрытие натриевых и калиевых каналов
зависит от заряда мембраны.
• Заряд мембраны может меняться под действием заряда или
нейромедиаторов от аксона другого нейрона.

29. Возбуждение нейрона

30.

31. Возбуждение нейрона

Потенциал действия возникает на одном участке
нейрона и за счет разности потенциалов между
возбужденным и соседним, невозбужденным
участком образуется электрический ток, который
«переностит» потенциал далее по клетке.
Наличие миелиновых оболочек (шванновских
клеток) приводит к ускорению передачи имульса,
так как разности потенциалов возникают только
между интервалами Ранвье.

32. Лирическое отступление

Для понимания прогресса человечества в области
моделирования мозга.
Швейцарские нейрофизиологи:
• работали 10 лет,
• использовали суперкомпьютер Blue Brain IV,
входящий в топ-100 самых мощных
суперкомпьютеров,
• исследовали и описали 207 типов нервных клеток,
• создали модель, включающую в себя суммарно 31
тысячу моделей нервных клеток и 37 миллионов
моделей синапсов.

33. Лирическое отступление

Данная модель соответствует 0,3 мм3 мозга крысы.

34. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

35. Линейная регрессия

Регрессионный анализ — статистический метод
исследования влияния одной или нескольких
независимых переменных X1, X2, ..., XM на зависимую
переменную Y.
• Независимые переменные — регрессоры,
предикторами.
• Зависимая переменная — критериальная переменная.
Пример: влияние средней годовой температуры и
уровня осадков в винодельческом регионе на стоимость
вина.

36. Линейная регрессия

Линейная регрессия — регрессионная модель,
где зависимость критериальной переменной от
регрессоров носит линейный характер:
Y = b0 + b1X1 + b2X2 + … + bMXM
b0…bM — коэффициенты (параметры) регрессии.

37. Линейная регрессия

38. Линейная регрессия

Каким образом можно определить коэффициенты
линейной регрессии? Классический подход — метод
наименьших квадратов.
Суть метода заключается в подсчете квадрата разницы
между реальным значением Yk и вычисленным с
помощью модели значением Y’k для каждого
измеренного значения и нахождении таких значений
коэффициентов b0…bM, при которых сумма этих
квадратов разниц минимальна:

39. Линейная регрессия

Для решения этой задачи вводится функция невязки:
Преобразуется в систему уравнений, которая в свою
очередь преобразуется в матрицы и решается при
помощи метода Гаусса.

40. Линейная регрессия

Метод наименьших квадратов реализован:
• в виде библиотек в некоторых языках
программирования со статистическим уклоном
(Python + Numpy&Scipy, R);
• в MatLab и подобных программах;
• и даже в виде ондайн-калькуляторов —
http://math.semestr.ru/regress/corel.php

41. Линейная регрессия

XIX век, сэр Френсис Гальтон — исследование
зависимости роста детей от роста родителей. Ввел
термин «регрессия» как стремление к среднему.
Затем термин начал применяться для обозначения
любой зависимости.

42. План занятия

• Нейроны и биологические нейронные сети:
• Строение нейрона.
• Нейронные сети: дендриты и аксоны.
• Синапсы: электрические, химические и
смешанные.
• Возбуждение нейрона.
• Линейная регрессия:
• Определение и история.
• Линейная регрессия как модель нейрона.

43. Линейная регрессия как модель нейрона

Схема линейной регрессии за исключением
некоторых деталей соответствует модели нейрона:

44. Линейная регрессия как модель нейрона

Некоторые детали:

45. Линейная регрессия как модель нейрона

Круг задач, которые можно решать при помощи
линейной регрессии весьма ограничен:
• Одна зависимая (выходная) переменная.
• Все переменные числено выражаемы.
• Зависимость — линейная.
Объединение нескольких моделей нейронов в сеть
позволяет решать задачи других классов.

46. Лабораторная работа — модель нейрона

Задать для модели нейрона входные параметры из
первого столбца таблицы. Записать в соответствующие
ячейки таблицы результат для каждого типа
передаточной функции:
Порог
1/1/0
-0,3/1,8/0,2
1/0,1/0,5
Сигмоид
Линейный Гауссиана Соответст
порог
вие

47. Практика — знакомство с языком R

# Loading csv files
WHO = read.csv("WHO.csv")
str(WHO)
summary(WHO)
# Subsetting
WHO_Europe = subset(WHO, Region == "Europe")
str(WHO_Europe)
# Removing variables
rm(WHO_Europe)
# Basic data analysis
mean(WHO$Under15)
sd(WHO$Under15)
summary(WHO$Under15)

48. Практика — знакомство с языком R

which.min(WHO$Under15)
WHO$Country[86]
which.max(WHO$Under15)
WHO$Country[124]
# Scatterplot
plot(WHO$GNI, WHO$FertilityRate)
# Histograms
hist(WHO$CellularSubscribers)
# Boxplot
boxplot(WHO$LifeExpectancy ~ WHO$Region)
boxplot(WHO$LifeExpectancy ~ WHO$Region, xlab = "", ylab = "Life Expectancy",
main = "Life Expectancy of Countries by Region»)
#Correlation
lm(WHO$FertilityRate ~ WHO$LifeExpectancy)