Прорывные направления в области исследования мозга и необходимая инфраструктура. ДК Нейронет НТИ

1. Brain-Computer Interfaces

Самарский государственный медицинский университет
Пятин Василий Федорович
Доктор медицинский наук, профессор
Brain-Computer Interfaces

2.

Прорывные направления в области
исследования мозга и необходимая
инфраструктура.
ДК Нейронет НТИ

3.

(минимум: $25 млрд. размер рынка РФ, 2.5% от мирового рынка, 10 компаний чемпионов)
Предложения сообщества:
75 рыночных
360 научных
(100 стартапов)
(30 средн. ко.)
(10 чемпионов)

4.

2
Количество публикаций по годам
Brunnera C.et al., BNCI Horizon 2020: towards a roadmap for the BCI
community. Brain-Computer Interfaces, 2015 Vol. 2, No. 1, 1–10.

5. НейроНет. CoBrain. Поволжский НейроНет-Центр

НейроНет. CoBrain.
НейроНет-Центр
НейроНет.
CoBrain.Поволжский
Поволжский
НейроНет-Центр
Отдел нейроинтерфейсов и
прикладной нейрофизиологии
в составе лабораторий:
•Нейроинтерфейсов и
робототехники совместно с
ПАО НПО «Андроидная
техника»;
• Прикладной
нейрофизиологии;
•Биофизической лаборатории.
Комплекс виртуальной
реальности и нейрофизиологии
CoBrain – исследовательский проект (технологии).
НейроНет – создание рынка новых продуктов.
9
3

6.

Отдел нейроинтерфейсов и прикладной нейрофизиологии
ЦПИ “IT-в медицине» СамГМУ
Сухие электроды
Brain Amp 128
Imec
Технологии:
•Мультимодальный
интерфейсЭЭГ, ЭМГ, трекинг
микросаккад;
Процессинг ЭЭГ – команды
•fMRT – 1,5Т –
(диагностический центр управления
г. Самары);
•Нейроинтерфейс +
Виртуальная реальность.
Emotive
Рука-робот
6
4

7.

5
Mindwalker
NeuroRex
Walk Again

8. Введение

6
Введение
• Brain-Computer Interfaces (BCI) – это машины, которые можно
контролировать своими мыслями (сигналами мозга).
• Устройства компьютерного интерфейса мозга (BCI) обнаруживают и
переводят нервную активность в последовательности команд для
компьютеров и протезов.
• Регистрация электродами сигналов из головного мозга используется
для переадресации информации на компьютеры, чтобы можно было
использовать для выполнения, например, внешних механических
действий
• Сегодня устройства BCI нацелены на восстановление функции у
пациентов, страдающих от потери моторного контроля, например.
после инсульта, повреждения спинного мозга, при рассеянном
склерозе (MS) и боковом амиотрофическом склерозе (ALS) и др.
• BCI расширит приемы нейрохирургических методов лечения мозговых
функций для пациентов, ранее лечащихся нехирургическими
специалистами.

9. BCI – направления применения

Healthcare (Ex: Help disabled People)
Automobile (Ex: Help Drivers/pilots)
Gaming (Ex: Help users manipulate systems)
Biometrics (Ex: Pass-thought authentication)
Unexpected Directions???
7

10. Достоинства BCI?

• BCI может помочь нам лучше понять, как работает
человеческий мозг в плане реорганизации, обучения,
памяти, внимания, мышления, социального взаимодействия,
мотивации и т. д.
• Исследование BCI позволяет нам разработать новый класс
устройств для управления биоинженерией и роботами для
обеспечения повседневной помощи инвалидам и пожилым
людям.
• Потенциальные
перспективы
применения
BCI
для
нейрореабилитации позволят улучшить, например, лечение
эмоциональных расстройств (например, депрессия или
беспокойство).
• BCI расширяет возможности для усовершенствования
человеко-компьютерных интерфейсов (HCI), улучшая
взаимодействие между мозгом, глазами, телом и роботом
или компьютером.
8

11. BCI- междисциплинарная технология

Nanotechnology
Biotechnology
Information technology
Cognitive science
Computer science
Biomedical engineering
Neuroscience
Applied mathematics
9

12. Технологическая эволюция BCI

10
• 1970-е годы: исследования, в которых разработаны алгоритмы
восстановления движений от нейронов моторной коры, которые
контролируют движение
• 1980-е
годы
исследователи
Джонса
Хопкинса
обнаружили
математическую взаимосвязь между электрическими реакциями
одиночных нейронов моторной коры rhesus macaque и направлением, в
котором обезьяны двигали руками (на основе косинусной функции).
• 1990-е годы: несколько групп исследователей смогли получить сложные
сигналы головного мозга, регистрируя активность нейронов и
использовать их для управления внешними устройствами
• В настоящее время существуют раннее разработанные и новейшие
имплантаты для людей, предназначенные для восстановления
повреждения слуха, зрения и движения.
• Общей нитью эволюции на протяжении всей эпохи исследований
является замечательная кортикальная пластичность мозга, которая, как
правило, адаптируется к BCI

13. Основы BCI

11
Основы BCI
• BCI – это машина, которая может использовать какой-то сигнал от мозга и
преобразовать эту информацию в команды для управления внешним
устройством (, например, роботом или виртуальной реальностью), чтобы
оно отражало намерения мозга пользователя.
• По сути, BCI конструкции могут декодировать электрофизиологические
сигналы мозга, представляющие двигательные намерения (двигательное
воображение).
• При параллельной эволюции нейронауки, инженерных и вычислительных
технологий эпоха клинического нейропротезирования уже стала
практической реальностью для людей с тяжелой моторной
недостаточностью.

14. Инвазивный и неинвазивный BCI

• Инвазивные методы:
при которых
имплантаты
электродов вводят
непосредственно в или
на мозг пациента;
• Неинвазивные
техники: в которых
медицинские сканир
ующие устройства или
датчики
устанавливаются на
голове пациентов для
считывания сигналов
мозга.
12

15.

13
• BCI распознают некоторую форму
электрофизиологического изменения в мозге субъекта.
• Пациент должен быть когнитивно сохранным, но с
нарушением движений.
• Пациенты, для которых до настоящего времени область
нейрохирургии не смогли оказать какого-либо
позитивного вмешательства.
• Популяция пациентов, которая увеличивается
количественно из-за старения, улучшения лечения после
инсульта и травмы и т. д.

16. BCI: девайс, который может:

14
• расшифровать человеческое намерение только по активности мозга.
• создать совершенно новый выход информации для мозга.
• изменять электрофизиологические сигналы от простых отражений
активности ЦНС в предполагаемые продукты этой деятельности:
передавать сообщения и команды, воздействуя на внешний мир.
• изменить сигнал, такой как ритм ЭЭГ, или частоту разрядов нейронов
как отражение функции мозга и превратить сигнал мозга в
конечный продукт этой функции
• превратить процессы, происходящие в нервах и мышцах, а также
движения, которые они производят с помощью
электрофизиологических сигналов, в аппаратное и программное
обеспечение, которое преобразует эти сигналы во внешние
действия

17. Detecting and converting neuronal signals in to electrical signals

15
Detecting and
converting neuronal
signals in to
electrical signals

18. Практические элементы BCI

16
Практические элементы BCI
Четыре существенных элемента для практического функционирования
платформы BCI:
1) Регистрация сигнала, запись в систему BCI + оцифрованный входной
сигнал мозга.
2) Обработка сигналов, преобразование исходной информации в
команду устройства:
Выделение функции = определение значимого изменения сигнала
Перевод функций = преобразование этого сигнала в команду
устройства.
3) Выход BCI - открытые команды или функции управления.
текстовая обработка, связь, кресло-коляска, протезная конечность.
новый выходной канал, поэтому должен иметь обратную связь, чтобы
улучшить, как они изменяют свой электрофизиологический сигнал.
4) Протокол работы, способ включения / выключения системы.

19. 1) Signal Acquisition

17
1) Signal Acquisition
• измерение в реальном времени электрофизиологического
состояния головного мозга.
• обычно через электроды (инвазивные или неинвазивные).
• Среди распространенных типов сигналов:
• Электроэнцефалография (ЭЭГ) (кож головы)
• Электрокортикография (ECoG) (поверхность мозга под черепом)
• Полевой потенциал (внутри паренхимы)
• «Единичные сигналы» (микроэлектроды, контролирующие
индивидуальную активность из нейрона)
• Другие возможные сигналы: включают MEG, fMRI, PET,
оптогенетика, хемо-, магнитогенетика.
• Затем сигналы мозга оцифровываются и отправляются в систему
BCI для дальнейшего опроса.

20.

Подключение к мозгу: интерфейсы мозг-компьютер
18

21.

Пространственное распознавание
Kawato et al.
19

22.

P300
ИМК
P300 ИМК
20

23.

Микроэлектродные регистрации
Miguel Nicolelis
21

24. 2) Signal Processing

22
2) Signal Processing
• Извлечение функции = извлекает значимую идентифицируемую информацию из
общего сигнала.
• Signal translation = преобразует идентификационную информацию в команды
устройства.
• Процесс преобразования необработанного сигнала в один, который имеет смысл,
требует статистического анализа.
• Эти статистические методы оценивают вероятность того, что электрофизиологическое
событие коррелирует с заданной когнитивной или двигательной задачей.
• Система BCI должна распознать, что в электрическом ритме произошло значимое или
статистически значимое изменение.
• Выдать команду, например, для конкретного перемещения курсора (перевод).
• Обработка сигналов должна быть динамичной, чтобы она могла корректироваться в
изменяющейся внутренней среде сигнала пользователя.

25. 3) Device Output

• действие, которое
выполняет BCI
Курсор на экране
Набор букв (письма) для связи
Роботизированная рука
Вождение инвалидной коляски
Физиологические процессы
(конечности, кишечник, мочевой
пузырь)
23

26. 4) Operating Protocol

24
• Это относится к тому, как пользователь контролирует
функционирование системы.
• Вкл. или выкл., Управление скоростью обратной связи,
скоростью команд, переключением между различными
выходами устройства.
• Эти элементы имеют решающее значение для
функционирования BCI в реальном приложении этих
устройств.
• В настоящее время устанавливаются очень контролируемые
параметры исследования (т. е. исследователь настраивает on
and off систем, он или корректирует скорость взаимодействия
или определяет конкретные цели и задачи).

27. Нейрокоммуникатор

28.

Блок-схема научно-практической разработки ИМК
Нейрофизиология
теоретический
анализ
Математические
методы анализа
ЭЭГ
Медицинская
механотроника
Нейрофизиологическое
тестирование
Программы
анализа ЭЭГ
Создание
базовых ИМК
Медицинские
технологии ИМК
Больницы
Медицинские
нейротренажеры
коммуникаторы
Домашние условия
Центры
реабилитации
25

29. Текущие платформы BCI

– В настоящее время существуют три типа
наиболее распространенных платформ,
которые имеют потенциал для
краткосрочного клинического применения.
– Они отличаются главным образом сигналом,
который они используют для управления:
– ЭЭГ
– Запись одиночной активностим нейронов
– ЭкоГ и др.
26

30. 1. EEG-Based Systems

27
• BCI до недавнего времени был почти
полностью ориентирован на ЭЭГ
• в основном используются сенсомоторные
ритмы, медленные корковые потенциалы
и вызванные потенциалы P300,
полученные из ЭЭГ.

31. EEG based BCI platform

28
EEG based BCI platform

32. Single Unit Based System

29
• Используется в ограниченных испытаниях на
квадриплегических субъектах для достижения контроля
внешнего устройства (рука-робот).
• Киберкинетика связана с развитием этой сигнальной
платформы.
• В настоящее время имплантированы четыре пациента и
открыт путь для дальнейшего набора пациентов.

33. Single Unit BCI System: A. Consists of 10 × 10 array of microelectrodes. B. Array attached by cable that transmits signals to

30
Single Unit BCI System:
A. Consists of 10 × 10 array of microelectrodes.
B. Array attached by cable that transmits signals to Connector.
C. Connector is then externalized through skin and connected via external
cable to signal processor.

34. ИМК в медицине

Инвазивный подход
ИМК в медицине
J. Chinne et al., Mayo Clin Proc.
March 2012
31

35. ECoG Based Systems

32
ECoG Based Systems
• ECoG является показателем
электрической активности мозга, с
поверхности мозга (субдурального
или эпидурального)
• • Нет сигнала, принимаемого из
самой паренхимы головного мозга.
• • До недавнего времени не
изучался широко, из-за
ограниченного доступа к
субъектам. (Проект Нейронет,
Россия 2018 год)

36.

Hand grasping
Pic. naming
33
Инвазивный
подход
Электрокортикография
Case N.времени
I.
в реальном
для управления в ИМК
Word reading
ECS
Hand area
ECS
mapping
Frontal
language

37.

Инвазивный подход
Декодирование на основе ECoG
34
Pistohl et al. (2011) NeuroImage

38.

Нейропротезная система
35

39.

Нейроинтерфейсы на основе моторного представления
Классификация
изменений
биопотенциалов
Изменение
биопотенциалов
коры головного
мозга
Визуальная
обратная
связь
Психическое
усилие
(намерение
к движению)
ЭЭГ
Расшифровка
намерений
к движению
Формирование
команд для
коммуникации
Управление
экзопротезами,
робототехникой
36

40.

Новые инструменты нейрореабилитации: Нейротренажеры
Исполнительные устройства для Нейротренажеров:
- экзоскелетоны,
- атромоморфные фантомы тела и конечностей,
- виртуальные актуаторы,
- траскраниальные магнитные и электрические стимуляторы.
Что происходит в моторной коре при работе в ИМК ?
Повышение возбудимости моторной коры при
использовании ее ЭЭГ в качестве команд для
экзоскелетных конструкций.
37

41.

ИМК, двигательное воображение, миостимуляция 8
38
После 10 попыток моторного представления с мышечной стимуляцией

42.

Механизмы и роботы для реабилитации после инсульта
Gustav
Zanger
1835-1920
39

43.

Коммуникация без голоса и движений: Нейрокоммуникаторы
40
Нейроинтерфейсы на основе внимания к символам
Регистрация
анализ ЭЭГ
Выделение
реакций на
символы
Выделение
реакции на
целевой стимул
Предъявление
стимулов-символов
Обратная связь
Выдача
выбранного
символа
Выполнение
команды
согласно
символу

44.

Коммуникация без голоса и движений: Нейрокоммуникаторы
Набор символов: печать текстов,
выбор команды-символа
41
Расширение сферы
самообслуживания пациентов

45.

Блок-схема научно-практической разработки ИМК
Нейрофизиология
теоретический
анализ
Математические
методы анализа
ЭЭГ
Медицинская
механотроника
Нейрофизиологическое
тестирование
Программы
анализа ЭЭГ
Создание
базовых ИМК
Медицинские
технологий ИМК
Больницы
Медицинские
нейротренажеры
коммуникаторы
Домашние условия
Центры
реабилитации
42

46.

Прагматические аспекты технологий ИМК :
ИМК в медицине
43
Более 2 млн
пациентов
Кровати
Человек в мире
бездействия
Аватары
Пульты
Коляски
Протезы
Реабилитация
Патронаж
Манипуляторы
экзоскелеты
Буквопечать
ИМК- ЭЭГ
спектр
ИМК-Р300
ИМК-ФЭС
ИМК-тренажеры
ИМК-коммуникаторы
ИМК-БИС (NIRS)
ИМК-ТМС

47.

Прагматические аспекты технологий ИМК :
ИМК - нейроэргономика
44
Человек оператор
Человек в
мультимедийном
мире
Глаз-мозг
Гибридные
ИМК
«Вегетативные» ИМК
ИМК НЕЙРОЭРГОНОМИКА
ИМК-управление
потоками информации
Зрение-слухтактильные
Мультимодаль
ные ИМК
«Эмоциональные» ИМК

48.

Вспомогательная робототехника
Для пациентов (1) для докторов (2)
Локализованные
роботы
Мобильные
«палатные»
роботы
(1)
45
Роботы ассоциированные с
инвалидным
креслом
(1)
(1)
(1)
Хирургические роботы
Мобильные больничные
роботы
(2)
(2)
Операциональные роботылаборанты
(2)

49.

«Усиливающие» и «Каркасные» роботы (экзоскелеты)
46
A power-amplifying robotic suit that enables humans to
carry loads of up to 100kg. Developed by Tokyo-based robot
venture Activelink. Dubbed Power Loader Light, the new model is
primarily designed to boost the power of the legs (by up to
40kg/400N). The suit itself weighs 38kg, with Activelink saying
buyers can “personalize” it by choosing specific designs or colors.
It’s actually commercially available: pay $233,000 and one unit is
yours.
EXOATLET —российский экзоскелет. Медицинский
экзоскелет для помощи и реабилитации.

50.

Реабилитационные роботы
47
Протезы и ортезы
Роботы для
коммуникации
Жестами (Dexter)
Роботы-тренажеры
антропоморфные
роботы для
копирующего
тренинга
Роботы для образования:
Присутствия,
мотивационной
Терапии и игры

51.

Инвазивный подход
Ричард Андерсен
Декодирование
моторных образов из
активности нейронов
теменной коры у
полностью
парализованных
пациентов
48

52. The feasibility of a brain-computer interface functional electrical stimulation system for the restoration of overground

walking after
paraplegia
49
Christine E. King, Po T.
Wang, Colin M., Cathy CY
Chou, An H. Do and Zoran
Nenadic
Journal of
NeuroEngineering and
Rehabilitation (2015) 12:80

53. Оптический нейронный интерфейс

Инвазивный подход
Оптический нейронный интерфейс
50
M. R. Warden,et al., Annu. Rev. Biomed. Eng. 2014. 16:103–29

54. Оптический нейронный интерфейс

Инвазивный подход
Оптический нейронный интерфейс
15
M. R. Warden,et al., Annu. Rev. Biomed. Eng. 2014. 16:103–29

55. Бидирекционный контроль протеза руки и электрическая стимуляция мышц (мио-мио интерфейс)

51
Бидирекционный
контроль протеза руки
и электрическая
стимуляция мышц
(мио-мио интерфейс)
Respopovic S. еt al. 2014

56.

Brain-to-brain Interface
52
Grau et al. 2014

57.

53
Brain-to-brain Interface
Rao et al. 2014

58.

Мифы
Мифы оо нейрокомпьютерных
нейрокомпьютерных интерфейсах
интерфейсах
54
In this photo, UW students Darby Losey, left, and Jose Ceballos
are positioned in two different buildings on campus as they
would be during a brain-to-brain interface demonstration. The
sender, left, thinks about firing a cannon at various points
throughout a computer game. That signal is sent over the Web
directly to the brain of the receiver, right, whose hand hits a
touchpad to fire the cannon.
Rajesh P. N. Rao, Andrea Stocco, Matthew Bryan, Devapratim Sarma, Tiffany M. Youngquist,
Joseph Wu, Chantel S. Prat. A Direct Brain-to-Brain Interface in Humans. PLoS ONE, 2014; 9
(11): e111332 DOI:10.1371/journal.pone.0111332
A breath of fresh air: this is the
new Muse experience.
$199 each

59. Теоретический гибридный человек/робот

Серьезные вызовы для сообщества ИМК –
скорее всего не технические, а этические.
55

60. Нейроинтерфейс в виртуальной среде

56
Пример: Чувство формы,
Плотности, объема
Виртуального объекта

61. Виртуальная нейро-мышечная рука

Виртуальная нейро-мышечная 57
рука

62.

Текущий уровень исследований и перспективы (в мире, в России)
58
•A New Kind of VR Therapy and Technology
•При выраженных фобиях, физических нарушениях и
пост-травматическом стрессовом расстройстве. .
•Отличный путь помочь людям переучиваться
•Комната виртуальной реальности (CAVE)
•Amazon запатентовала технологию дополненной
реальности
• Панорамная система виртуальной реальности МГУ
•Авиационный тренажер МАИ и тренажер для
отработки дозаправки в воздухе РСК «МиГ»
•Центр виртуальных исследований АО «ЦТСС»
•Комплекс виртуального прототипирования НАМИ
Сведения о проектах, статьях, РИДах, прогнозах,
«дорожных картах» и др.
1

63. Текущий уровень исследований и перспективы (в мире, в России)

• The YURT. Brown University unveils 3D
virtual-reality room,
• A well-rounded experience
The YURT’s rounded geometry solved
projection problems of an earlier generation
square-cornered VR facility, and 69 stereo
projectors serving up 2 million pixels each offer
resolution matching the capabilities of the
human eye.
• CCV's state of the art virtual reality theater
displays over a million pixels and consists of 69
full HD projectors driven by 20 nodes of the
CCV HPC cluster. The projectors display onto
145 mirrors covering a 360 degree surface
including overhead and underfoot. The front
wall is 25 feet long and 8 feet high and spans
180 degrees of view.
59

64. Лучшие VR- шлемы:

Текущий уровень исследований и перспективы (в мире, по России )
Microsoft HoloLens
60
Sony Project Morpheus
Samsung Gear VR
Carl Zeiss VR One
HTC Vive
Oculus Rift
Лучшие VR- шлемы:
Google Cardboard
Avegant Glyph
Razer OSVR
Archos VR Headset