Нейро-компьютерный интерфейс

1.

ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России
НЕЙРОИНТЕРФЕЙСЫ
Автор:
Валентович Валерия Владимировна
1.5.11А

2.

Определение
• Нейро-компьютерный интерфейс или нейроинтерфейс – это
физический интерфейс приема или передачи сигналов между
живыми нейронами биологического организма (например, мозгом
животного) с одной стороны, и электронным устройством
(например, компьютером) с другой стороны.

3.

История развития (1)
В 50-е годы прошлого века
появился первый нейроинтерфейс.
Им принято считать Stimoceiver –
электродное устройство, которое
управлялось по беспроводной сети
с помощью FM-радио. Оно было
изобретено испанским и
американским ученым Хосе
Дельгадо и испытано в мозге быка.
Демонстрация возможностей нового
устройства была очень эффектной
– на арене для корриды. Дельгадо
вышел против быка, а когда тот
побежал на него, нажал кнопку на
пульте управления – впервые
удалось изменить направление
движения животного с помощью
нейроинтерфейса.
https://rostec.ru/news/neyrointerfeysupravlyat-siloy-mysli/

4.

История развития (2)
в середине 1960-х гг. проводились эксперименты на обезьянах, которым
имплантировали мультиэлектродные матрицы для регистрации потенциалов
коры и электрической стимуляции. Было показано, что сенсомоторная кора
активировалась, когда обезьяны производили движения, а
электростимуляция коры, наоборот, вызывала сокращение мышц.
В 1963 г. Walter провел эксперимент, в котором был реализован первый ИМК
в том смысле, как мы его понимаем теперь. Пациентам по медицинским
показаниям были имплантированы электроды в различные области коры
мозга. Им предлагалось переключать слайды проектора, нажимая на кнопку.
Обнаружив область коры, ответственную за воспроизведение этого
мышечного паттерна, исследователь подключил ее напрямую к проектору:
управление осуществлялось непосредственно мозгом, причем даже быстрее,
чем человек успевал нажать на кнопку.

5.

История развития (3)
В 1957 г. французским ученым Djourno и
Eyriès удалось при помощи
одноканального электрода,
стимулировавшего слуховой нерв,
вызвать звуковые ощущения у глухих.
В 1964 г. Simmons представил
многоканальный вариант изобретения.
В 1970-х гг. House и Urban назвали
устройство, состоящее из
звукопреобразователя и
многоканальногоэлектрода,
кохлеарным имплантатом.
https://lornii.ru/lechenie-i-diagnostika/narusheniyaslukha/kokhlearnaya-implantatsiya/voprosy-zadavaemyepatsientami-kandidatami-na-ki/

6.

История развития (4)
Бурный скачок ИМК-исследований пришелся на 1990– 2000-е гг. Nicolelis и
Chapin сконструировали ИМК, управлявший механическими конечностями.
Записанную у крыс в состоянии бодрствования активность коры и базальных
ганглиев передавали на робот, который доставлял животному воду.

7.

История развития (5)
В начале 2000-х гг. группа под руководством
Donoghue работала с обезьянами и людьми, в
частности исследователи имплантировали
мультиэлектродные матрицы в моторную кору
человека, что позволяло парализованным людям
управлять курсором и роботизированными
манипуляторами. В опыте с участием людей им
удалось добиться максимального контроля в
управлении антропоморфной роботизированной
рукой

8.

Классификация
Thorsten Zander предложил следующую классификацию:
Активные – пользователь инициирует команду безусловно
Реактивные – пользователь инициирует команду в ответ на воздействие системы
Пассивные – пользователь не дает команду, но система считывает и анализирует его
состояние
Также нейроинтерфейсы можно классифицировать по способу получения сигнала:
Инвазивные (вживленные электроды, ECoG и другие)
Неинвазивные (EEG, NIRS и другие)

9.

Активный нейроинтерфейс
Активный интерфейс использует
изменения активности мозга,
которая непосредственно
и сознательно управляется
человеком. Например, человек
воображает, что двигает правой
ногой и правой рукой. Это
мысленное усилие приводит
к изменениям в электрической
активности мозга, на основе
которых программа формирует
управляющие команды,
посылаемые на внешнее
устройство, как в интерфейсе для
печати текстов Hex-o-Spell.

10.

Реактивный нейроинтерфейс
https://habr.com/ru/post/431574/
Реактивный интерфейс формирует
управляющие команды, изучая
ответ мозга на внешний сигнал,
например, свет или звук. Пример
реактивного интерфейса —
экранная клавиатура с мигающими
по очереди
символами(спелеологии): мозг
откликается, когда мигает тот
символ, который задумал человек.

11.

Пассивный нейроинтерфейс
Пассивный интерфейс
анализирует текущую
активность головного мозга,
которая возникает сама по себе,
в процессе жизнедеятельности
человека. Такие интерфейсы
могут быть полезны для
создания систем мониторинга,
которые следят
за эмоциональным состоянием,
обнаруживают снижение
концентрации внимания или
потерю контроля над системой.
https://habr.com/ru/post/431574/
Музей «молчания» для определения степени
расслабления.

12.

Неинвазивные нейроинтерфейсы
https://habr.com/ru/post/431574/
Запись ЭЭГ — наиболее распространенный метод,
применяющийся при разработке неинвазивных
ИМК. По способу активации мозга метод может быть
независимым (эндогенная активация —
воображение движения) и за- висимым (экзогенная
активация — демонстрация движе- ния на экране).
+ простота, безопасность.
- арте- факты записи ЭЭГ, которые по ошибке могут
быть приня- ты за нейронную активность и даже
послужить управля- ющими сигналами; регистрация
суммарной активности множества нейронов;
считывание информации с поверхностных нейронов
с потерей сигналов из более глубинных структур.

13.

Неинвазивные (2)
https://en.ppt-online.org/183997
Помимо ЭЭГ используют
магнитоэнцефалографию (МЭГ). Для
регистрации слабых магнитных полей,
гене- рируемых мозгом, требуется очень
высокая чувствитель- ность метода,
которую обеспечивают
сверхпроводящие квантовые
магнитометры.
- регистрация МЭГ требует специальной
аппаратуры, подготовленных
специалистов и условий (в первую
очередь, магнитного экранирования),
дорого.
+ МЭГ обеспечивает лучшее временное и
пространственное разрешение, чем ЭЭГ.
Нет электродов, что упрощает работу с
детьми.

14.

Неинвазивные (3)
Инфракрасное излучение проникает через кости черепа и прилегающие
ткани в лобную и затылочную кору мозга и позволяет оценивать
степень окисления гемоглобина, то есть потребление мозгом
кислорода.
Отслеживание концентрации оксигемоглобина и деоксигемоглобина в
мозговом кровотоке посредством ближней инфракрасной спектроскопии
(БИКС) с временным разрешением 100 мс и пространственным разрешением
1 см.
Главный недостаток технологии — значительная задержка сигнала, до
нескольких секунд.

15.

Инвазивные
для инвазивного нейроинтерфейса требуется
операция: электроды вживляются прямо в кору мозга.
Выглядят они как маленькая пластинка, примерно
пять на пять миллиметров, которая покрыта сотнями
иголочек-электродов. Они регистрируют
электрическую активность отдельных нервных клеток
в том месте, куда внедрены.
+ датчики отличаются более сильным сигналом.
https://nplus1.ru/news/2019/07/17/neuralink • - инвазивное вмешательство сопряжено с
последствиями для здоровья человека: риск
воспалений, необходимость повторной имплантации
из-за отмирания нейронов и эпилепсия. Поэтому
такие интерфейсы используют в крайних случаях, для
тяжелобольных пациентов, которым не могут помочь
другие методы.

16.

Как же это все работает?!

17.

Алгоритм работы нейроинтерфейса
Этап регистрации
сигнала
Обработка сигнала:
предварительная
обработка,
определение
параметров сигнала,
их классификация.
Манипулирование
данными:
взаимодействие с
компьютером и
обратная связь.

18.

Декодирование
Потенциал действия изолированных
нейронов соответствует конкретным
поведенческим проявлениям. К
примеру, возбуждение нейронов
моторной коры определяет позицию,
ускорение и угол вращения руки.
Разработчики используют такие соответствия для декодирования
нейронных сигналов. При этом
повторяемость и узнаваемость
нейрональных паттернов, так
называемый нейротюнинг (настройка)
— клю- чевой фактор декодирования.
Нейроны могут быть «плохо
настроены», «зашумлены», что
осложняет процесс их «расшифровки».
Метод популяционного вектора;
Фильтр Винера;
Фильтр Калмана

19.

Применение нейроинтерфейсов
Нейропротезы
Передвижение с помощью ФЭС
Управление устройствами( инвалидные кресла, экзоскелет)
Коммуникация (системы набора текста)
Оценка состояния человека (система, определяющая, что водитель засыпает
за рулем)
Развлечения, маркетинг

20.

Ручной нейроинтерфейс
http://brain.bio.msu.ru/papers/Kaplan_Zhigulskaya_Kirjanov_2016_Vestnik%20R
GMU_Studying_ability_control_phantom_fingers_P300_BCI.pdf
инвазивный ИМК, с
помощью которого
обезьяны захватывали
появляющиеся в
различных местах
объекты при помощи
роботизированной
руки. Для
нейродекодирования
использовался фильтр
Винера.

21.

ФЭС
ФЭС-функциональная электростимуляция- применяется если конечность не
утеряна, а только обездвиживание. С помощью электродных матриц
происходит электрическая стимуляция мышц набором импульсов,
имитирующих сигналы нервной системы. Мышцы активируются под
воздействием стимуляции, и конечности приводятся в движение. Для
поверхностной стимуляции мультиэлектродная матрица накладывается на
кожу пациента. Такую контактную матрицу можно вшивать в одежду
(перчатки, штаны и т. д.)

22.

Экзоскелет
http://brain.bio.msu.ru/papers/Kaplan_Zhigulskaya_Kirjanov_2016_Vestnik%20RGMU_S
tudying_ability_control_phantom_fingers_P300_BCI.pdf
Обезьян обучили ходить по беговой
дорожке. Во время выполнения задачи
регистрировали нейронную активность
областей сенсомоторной коры,
отвечающих за нижние конечности, и
записывали на видео движения ног
обезьяны.
Niclolelis и его коллеги основали проект
Walk Again Project —целью которого
является разработка экзоскелета,
приводимого в движение корой головного
мозга. Nicolelis продемонстрировал
экзоскелет, управляемый на основе ЭЭГ, на
открытии чемпионата мира по футболу в
2014 г.

23.

Виртуальная клавиатура
https://habr.com/ru/post/431574/
в одном из вариантов пользователю надо представить, что он двигает
рукой или ногой, чтобы выбрать ту или иную букву. Весь алфавит
делится изначально пополам в зависимости от типа воображаемого
движения, потом снова пополам и так до выбора конкретного символа.
Скорость написания сообщений в этом случае — от 0,5 до 0,85 символа
в минуту.
В другой системе символы отображаются на экране в виде
матрицы. Здесь задача пользователя концентрироваться
на выбранном символе. Строки и столбцы символов на экране
по очереди мигают, что приводит к генерации потенциала при
совпадении с ожидаемым символом. Когда на экране мигает
нужная строка, ЭЭГ изменяется, когда мигает нужный столбец —
изменяется второй раз. Скорость набора — два символа в минуту,
метод не требует длительных тренировок.

24.

Список литературы
Нейроинтерфейс: как и зачем, Алексей Павлов, Александр Храмов,
2019.
Нейроинтерфейсы сегодня, 2018
Интерфейс мозг–компьютер: будущее в настоящемО. С. Левицкая , М. А.
Лебедев Вестник РГМУ 2, 2016.
НЕЙРОИНТЕРФЕЙС: ПРИНЦИПЫ ДЕЙСТВИЯ И РЕАЛИЗАЦИИА.В.
СИДОРЕНКО, 2016.
!рекомендую ознакомиться с 3 ссылкой всем тем, кто хочет знать больше о
системе декодирования.

25.

СПАСИБО ЗА ВНИМАНИЕ!