Surd, искусственный интеллект для общества. Проект

1.

Surd
Искусственный интеллект для общества

2.

Цель проекта
Создать простое в использовании и освоении приложение для людей с
нарушениями слуха, которое поможет социализироваться в обществе и
позволит людям с НС устроиться на работу, требующую коммуницировать
с окружающими.
По возможности реализовать современные технологии для упрощения
процесса взаимодействия с окружающими и ускорения работы программы.

3.

Предмет исследования
● Способы общения людей с НС
Задачи
Узнать больше о жизни людей с НС
Изучить методы коммуникации людей с НС
Изучить язык программирования Java для создания программы Surd
Изучить принцип работы нейросетей и искусственных интеллектов
Изучить Android Studio для работы с библиотекой, нейросетью и
непосредственно программой Surd
● Создать библиотеку языка жестов для взаимодействия с
искусственным интеллектом (нейросетью)

4.

Технические особенности и системные требования
Чтобы воспользоваться Surd необходим современный смартфон на базе
Android, имеющий фронтальную камеру и доступ к сети Интернет.
Комфортное использование программы гарантировано даже на
бюджетных устройствах на базе Android (для увеличения целевой
аудитории).

5.

Оборудование (по возрастанию производительности)
1. Sony Xperia Miro (Android 4.2) (некоторые проблемы)
2. Xiaomi Redmi Note 2 (Android 5.1) (некоторые проблемы)
3. Xiaomi Redmi 5A (Android 6) (некоторые проблемы)
4. Xiaomi Redmi 3S (Android 6)
5. Xiaomi Redmi 3 PRO (Android 7)
6. Google Nexus 6P (Android 8.1)
7. LG G5 (Android 7)
8. Sharp Aquos S2 (Android 8.1)
9. Google Pixel (Android 8.1, Android 9)
10. LG V30 (Android 8.1, Android 9)

6.

MediaPipe, TensorFlow, TFLite
На всех вышеперечисленных устройствах фреймворк MediaPipe,
работающий на платформах TensorFlow и TFLite, зарекомендовал себя как
быстрый и отлично работающий фреймворк. Все тесты пройдены,
нейросеть работает отлично. Проблем с производительностью не
возникало. MediaPipe отлично оптимизирован, и проблем с
быстродействием на относительно новых смартфонах не наблюдается.

7.

Как работает программа?
1. Показывая жест РЖЯ на камеру смартфона, программа сопоставляет
полученный результат со всеми словами в базе данных - словаре.
2. На экран выводится слово, взятое из словаря.
3. Программа ожидает следующий жест от пользователя.
4. Пользователь может переслать набранное сообщение в WhatsApp,
ВКонтакте или любую другую социальную сеть. Также пользователь
может просто показать экран смартфона человеку, если находится
вблизи него.

8.

Как программа может помочь обществу?
Surd позволит обеспечить эффективную двустороннюю связь между
слабослышащими людьми и людьми без нарушений слуха. Это поможет
повысить качество жизни людей с нарушениями слуха как во время
работы, так и в повседневной жизни.
Приложение позволит крупным работодателям увеличить объем целевой
аудитории, а простому человеку поможет найти новых друзей, знакомых,
заговорить с родственниками и друзьями абсолютно по-новому.

9.

Способы продвижения
Для того, чтобы потребители узнали о нашей продукции, мы
воспользуемся:
1. Таргетированной рекламой в Яндекс, Google, ВКонтакте, Instagram
2. Привлечение Ассоциации глухонемых для тестирования программы
3. Предоставление льгот для физических лиц при предоставлении
соответствующих документов
4. Месяц бесплатного пользования для 1 устройства юридического лица
5. Ведение блога о продвижении проекта, информация о разработке
приложения, обновлениях и т.п.

10.

Расчеты по затратам
1.
2.
3.
4.
Таргетинг в соц. сетях - 15.000 рублей/месяц
Услуги сурдопереводчика для наполнения БД - 10.000 рублей/месяц
Покупка медиаконтента с фотостоков - 10.000 рублей
Покупка необходимого оборудования для тестов (Pixel 4) - 50.000
рублей

11.

Статистика

12.

Статистика

13.

Конкретные примеры, когда программа может помочь
● У каждого в жизни была ситуация, когда оказалась необходимой
помощь случайного прохожего. В лучшем случае - узнать, на каком
автобусе доехать в нужную точку. В худшем - попросить жизненно
необходимое лекарство. А теперь представьте себе, что вы не можете
этого сделать в силу не зависящих от вас обстоятельств, а у людей
срабатывает “эффект свидетеля”.
● Нужно воспользоваться какой-либо услугой, но персонал не знает РЖЯ
и не может понять, что вам именно нужно.

14.

Лицензирование
Для физических лиц лицензия приложения будет абсолютно бесплатной,
для юридических лиц право пользования будет предоставляться по
периодам. Также для юридических лиц создается приложение на Windows
Server. Планируется, что приложение будет встраиваться в электронные
кассы, и заменит сурдопереводчиков в крупных компаниях (например, в
Starbucks).

15.

Инструменты и библиотеки, используемые в проекте
MediaPipe
TensorFlow
TFLite
Android Studio

16.

Материалы, использованные в проекте
Deep Learning, теперь и в OpenCV - https://habr.com/company/intel/blog/333612/
Нейросеть от Google AI распознаёт жесты в реальном времени https://neurohive.io/ru/novosti/nejroset-ot-google-ai-raspoznaet-zhesty-v-realnom-vremeni/
Компьютерное зрение на примере приложения для IKEA - https://habr.com/post/327704/
Распознавание жестов движений на Android используя Tensorflow https://habr.com/ru/post/346766/

17.

Спасибо за внимание