Разработка программно-аппаратного комплекса для обработки и визуализации мозговых импульсов на основе нейроинтерфейса

1.

Выпускная квалификационная работа магистранта
Разработка программно-аппаратного комплекса для
обработки и визуализации мозговых импульсов на
основе нейроинтерфейса.
Саранск 2022
Факультет математики и информационных
технологий
Кафедра фундаментальной информатики
02.04.02 ФИиИТ
Автор: Колчанова С. А.
Руководитель: Бадокина Т.Е.

2.

Актуальность исследования
Полноценно выполнять физические действия,
говорить и осязать окружающий мир – это самое
лучшее, что могла дать нам природа.
Однако не все люди имеют такие возможности. В
век технологий и инноваций важно не забывать о о
них.
Исследования в области нейроинтерфейсов...
берут начало в 1970-м году. С тех пор прогресс....
не стоял на месте и сейчас, уже есть достаточ-.о
но_большой выбор устройств на основе данной
технологии. Тем не менее, есть ряд недостатков, главные из
которых – это дороговизна и недоступность.
Решением этих и ряда других проблем – является
разработка
собственного
программно-аппаратного
комплекса на основе нейроинтерфейса.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
2

3.

Цель и задачи исследования
Цель диссертации – разработка программно-аппаратного
комплекса для обработки и визуализации мозговых импульсов на
основе нейроинтерфейса.
Поставленная цель может быть достигнута благодаря решению
следующих задач:
1) Проанализировать предметную область;
2) Рассмотреть
существующие
программные-аппаратные
решения;
3) Спроектировать систему исходя из выводов, сделанных после
сравнения представленных на рынке устройств;
4) Разработать систему, состоящую из аппаратной и программной
частей для обработки мозговых импульсов;
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
3

4.

Анализ предметной области и обзор
конкурентов
В интернете достаточно много игр и приложений для анализа
данных при помощи нейроинтерфейса. Однако у всех программ
используется строгие математические вычисления, для получения
результатов состояния мозговой активности.
Наша же, программная часть, будет использовать нейронную
сеть, для обработки результатов, что уменьшает риск
некорректности составления формулы, как в первом случае.
Также стоит отметить, что большинство программных решений
создано только под определенные нейроинтрерфейсы, что делает
программы менее универсальными. Мы также, рассмотрим
аппаратные решения, но сперва посмотрим на программные.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
4

5.

Анализ предметной области и обзор
конкурентов
Рисунок 1 – Приложение Brainwave Visualizer.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
5

6.

Анализ предметной области и обзор
конкурентов
Рисунок 2 – Приложение Кинезис.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
6

7.

Обзор конкурентов, аппаратные решения
Рисунок 4 – существующие решения.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
7

8.

Обзор конкурентов, аппаратные решения
Первым
решением
является
нейрогарнитура
BrainLink
Lite
с
управляемым
пауком,
сведем
все
преимущества и недостатки в таблицу.
Преимущества
Возможность
использования в системе
умного дома
Возможность расширения
функционала
Автономная работа
Недостатки
Нет возможности для расширения функционала
Высокая стоимость (12990 руб.)
Отсутствие встроенных полезных функций для людей с ограниченными
возможностями
Присутствуют модули ДУ Ухудшенный анализ мозговой активности
(bluethooth/Wi-Fi)
Один единственный сенсор(электрод) для приема сигнала
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
8

9.

Обзор конкурентов, аппаратные решения
Вторым решением является нейрогарнитура NeuroSky MindWave Mobile,
сведем все преимущества и недостатки в
таблицу.
Преимущества
Частичное использование в системе умного
дома
Возможность создания и разработки
собственного ПО
Автономная работа
Присутствуют модули ДУ (bluethooth/Wi-Fi)
Недостатки
Нет возможности для расширения функционала
Высокая стоимость (25500 руб.)
Нет возможности полноценного управления
системой умного дома
Ограниченность в проектировании собственного ПО
Возможно использование устройства для
людей с ограниченными возможностями
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
9

10.

Диаграммы и рисунки
Рисунок 5 - Диаграмма вариантов использования системы
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
10

11.

Диаграммы и рисунки
Рисунок 6 - Диаграмма деятельности «Рассчитать основные показатели мозговой активности»
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
11

12.

Разработка программной части
В
программах
для
нейроинтерфейса
используют
математическую зависимость мозговых волн.
К примеру:
• Альфа волны – возникают в начале медитации, успокаивают
нервную систему
• Бета-волны – возникают, когда мозг работает над
целенаправленными задачами, создают осознанность и
улучшают концентрацию
• и т.д.
Наша же программа использует нейронную сеть. Что
позволяет более точно устанавливать зависимость между
мозговыми импульсами и состоянием мозга.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
12

13.

Разработка программной части
Для нейронной сети была использована библиотека
keras, которая является реализацией TensorFlow.
В качестве модели была выбрана последовательная,
Sequential. В качестве функции активации была
выбрана сигмоидальная
А в качестве функции потерь была выбрана 'binary
crossentropy‘.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
13

14.

Разработка программной части
Для нейронной сети была использована библиотека
keras, которая является реализацией TensorFlow.
В качестве модели была выбрана последовательная,
Sequential. В качестве функции активации была
выбрана сигмоидальная
А в качестве функции потерь была выбрана 'binary
crossentropy‘.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
14

15.

Разработка программной части
Рисунок 7 – интерфейс системы «БАМС»
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
15

16.

Разработка аппаратной части
TGAM
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
16

17.

Разработка аппаратной части
TGAM
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
17

18.

Вывод
В рамках данной магистерской работы разработан программноаппаратного комплекса для обработки и визуализации мозговых импульсов на
основе нейроинтерфейса. Также были выполнены следующие
задачи:
1) Проанализирована предметная область, в результате которой были
рассмотрены основные понятия и возможности BCI;
2) Рассмотрены существующие решения, позволяющие получать и
обрабатывать данные, поступающие из головного мозга;
3) Спроектирована систему исходя из выводов, сделанных после сравнения
представленных на рынке устройств;
4) Разработан система, состоящую из аппаратной и программной частей для
составления для обработки мозговых импульсов;
Разработка собственного аппаратного комплекса позволило создать
достаточно гибкий и более точный в вычислениях, программный продукт, а
разработка аппаратной части позволила минимизировать траты.
Таким образом, разработанная система в совокупности с программной
оболочкой имеют хорошую расширяемость.
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
18

19.

Статьи
Разработка программно-аппаратного комплекса для обработки
и визуализации мозговых импульсов на основе нейроинтерфейса.
19

20.

Спасибо за внимание