Возможности использования Intel Perceptual Computing SDK в образовании (Лекция 3)

1.

Естественно-интуитивное
взаимодействие с компьютером
Лекция 3
Возможности использования
Intel Perceptual Computing SDK
в образовании

2.

Содержание лекции
3.1. Введение
3.2. Влияние современных технологий на образование
3.2.1. Современные технологии в дистанционном образовании
3.2.2. Современные технологии и «образование через всю жизнь»
3.2.3. Необходимость аккуратного использования современных
технологий в образовании
3.3. Возможности использования идей естественно-интуитивного
взаимодействия человека с компьютером
3.3.1. в дистанционном образовани
3.3.2. в дошкольном образовании
3.3.3. и сохранение здоровья обучающихся
3.3.4. в создании виртуальных лабораторий
3.3.5. интересные идеи
Лекция № 3.

3.

Введение
Образование – целенаправленный процесс,
ориентированный на приобщение человека к миру
культуры, развитие личностных качеств, приобретение
жизненно важных знаний и умений.
Неотъемлемая часть современного образовательного
процесса – информационные и телекоммуникационные
технологии.

4.

Введение
Использование современных технологий, в основе которых
лежит компьютер, позволяет обеспечить
• наглядность
• интерактивность
• вовлеченность обучающихся в процесс обучения
предоставляет учащимся возможности
• поиска и систематизации информации
• самоконтроля

5.

Введение
Современные технологии в образовании – это инструмент.
Требования:
• удобство в использовании
• минимум времени и сил на освоение
Возможное решение - способность вычислительных
устройств понимать человека через
• физический контакт
• словесные команды
• мимику
• жесты

6.

Введение
Приложения с элементами естественно-интуитивного
взаимодействия могут дать пользователям ощущение
присутствия и погружения.
Добавить в приложение элементы такого взаимодействия
позволяет комплект разработки Intel Perceptual Computing
SDK и камера Creative* Senz3D
или
новая разработка Intel® RealSense™ SDK,
работающий с камерой Intel® RealSense™
3D Camera.

7.

Современные технологии в образовании
Под современными технологиями в первую очередь
понимаются информационные и телекоммуникационные
технологии.
Такие технологии являются средством усиления
интеллектуальной деятельности человека, а также являются
базовыми технологиями общества, в котором главным
капиталом являются знания и умения эти знания
использовать.
Необходимость постоянного и непрерывного
образования для большинства людей в
течение всей жизни

8.

Современные технологии в образовании
Исключительная важность развития информационных и
телекоммуникационных технологий в образовании.
Международная комиссия по вопросам образования, науки и
культуры при ООН сформулировала два базовых принципа их
использования:
«образование для всех»
«образование через всю жизнь»

9.

Современные технологии в образовании
Принцип «образование для всех»
способ реализации:
организация системы дистанционного образования (ДО),
ориентированного на удовлетворение образовательных
потребностей населения.
Дистанционное образование позволяет сделать активными
географически распределенные
информационные ресурсы.

10.

Современные технологии в ДО
Информационно-образовательная среда для ДО, должна
включать:
• средства передачи данных
• информационные ресурсы
• протоколы взаимодействия
• аппаратно-программное обеспечение
• организационно-методическое обеспечение

11.

Современные технологии в ДО
Уровни коммуникаций в процессе дистанционного образования:
• широковещательный
наиболее характерный для традиционного массового
обучения
при этом общение направлено от одного
преподавателя ко многим учащимся

12.

Современные технологии в ДО
Уровни коммуникаций в процессе дистанционного образования:
• транзакционный
используется при индивидуальном обучении
общение обычно происходит в паре учитель-ученик
групповой
появляется в процессе группового
взаимообучения
общение происходит между всеми
участниками процесса

13.

Современные технологии в ДО
Уровни коммуникаций в процессе дистанционного образования:
• транзакционный
используется при индивидуальном обучении
общение обычно происходит в паре учитель-ученик
групповой
появляется в процессе группового
взаимообучения
общение происходит между всеми
участниками процесса

14.

Современные технологии в ДО
Наиболее известные ресурсы дистанционного образования:
• Национальный
Открытый
Университет
«ИНТУИТ»:
http://www.intuit.ru/
• Coursera: https://www.coursera.org/
Обзор ресурсов, представляющие интерес преимущественно
для программистов:
• http://habrahabr.ru/post/156241/
Описание
общей
стратегии
мировой
академической среды в деле образования:
• http://habrahabr.ru/company/lektorium/blog/162793/

15.

Современные технологии в ДО
Технологии организации взаимодействия преподавателей и
учеников:
• аудио-конференции
• видеоконференции
• компьютерные конференции
• форумы
• блоги
• группы в социальных сетях
• средства
для
индивидуальных
консультаций: Skype, Hangouts и др.

16.

Современные технологии в ДО
Новая организационная форма образования – виртуальные
классы.
Плюс такой модели – возможность организации взаимодействия
преподавателей и учащихся на всех коммуникационных
уровнях.
Самодостаточный инструмент:
• передачи информации и обучения студентов
• проведения индивидуальных и групповых
занятий
• организации выступлений на большую
аудиторию слушателей

17. Современные технологии в ДО

Современные технологии позволяют внести в ДО
эффект присутствия, который может помочь
повысить эффективность и насыщенность ДО.
Варианты использования:
• выполнение лабораторных работ на сложном
научном оборудовании и экспериментальных
установках
• представление каждого участника
аватаром, отображающим поведение:
движения, мимику, жесты и речь.

18. Интернет-лаборатория "Робототехника"

Интернет-лаборатория "Робототехника"
Лаборатория
предоставляет
возможность, используя
технологии сетевого
доступа, проводить
комплексные удаленные
лабораторные практикумы
на реальном сложном
робототехническом
оборудовании.
МГТУ им. Н.Э. Баумана
http://lud.bmstu.ru/robot/index.html

19. Центр дистанционных автоматизированных учебных лабораторий

Установки дистанционной
лаборатории по курсу
«Электроника»
Установки дистанционной
лаборатории по курсу
«Основы теории цепей» и
«Радиотехнические цепи
и сигналы»
NI ELVIS II измерительная
лабораторная станция для
создания лабораторных
работ и лабораторных
практикумов
КГТУ им. А.Н. Туполева
http://www.kai.ru/univer/labview/index.php

20. Виртуальные миры в образовании

Каждый участник может
быть представлен своим
аватаром, способным
отображать поведение
участника:
движения,
• мимику,
• жесты
• речь.
20 возможностей использования
виртуальных миров в обучении:
http://www.elw.ru/reviews/detail/3289/

21. Современные технологии в ДО

Совместимость компонентов учебного материала и
возможность их многократного использования
обеспечивает стандарт
SCORM (Sharable Content Object Reference Model).
SCORM помогает определять технические основы
сетевой образовательной среды и является
моделью взаимосвязанных технических
стандартов, спецификаций и основных
принципов.

22. Современные технологии в ДО

Требования к системам, соответствующим SCORM:
• доступность: возможность найти необходимые
учебные компоненты и получить к ним доступ
• адаптируемость: возможность адаптировать
учебную программу согласно потребностям
отдельных пользователей или организаций
• эффективность: возможность
повысить производительность,
сокращая время и затраты на
доставку инструкций

23. Современные технологии в ДО

Требования к системам, соответствующим SCORM:
• долговечность: возможность соответствовать
новым технологиям без дополнительной и
дорогостоящей доработки
• интероперабельность: возможность использовать
учебные материалы вне зависимости от
платформы, на которой они созданы
• возможность многократного
использования материалов в разных
приложениях и контекстах.

24. Современные технологии в ДО

Для разработки собственной системы
дистанционного обучения имеет смысл
использовать системы управления обучением или
LMS (Learning management system).
Наиболее известные свободно распространяемые
LMS, совместимые со стандартом SCORM:
• Moodle (https://moodle.org/)
• ILIAS (http://www.ilias.de/)
• Sakai (http://sakaiproject.org/).

25. ИКТ и «образование через всю жизнь»

Современные технологии обладают возможностями
глобальной визуализации учебного материала и
позволяют в процесс образования включать:
• учебные видеоматериалы
• мультимедиа технологии, реализуемые на
основе специально структурированных баз
данных и знаний, электронных пособий и
учебников
• интерактивные мультимедиа
презентации.

26. Современные технологии в дошкольном образовании

В образовании дошкольников можно использовать
современные технологии:
• короткие презентации,
• познавательные мультфильмы и кинофильмы,
• развивающие компьютерные игры и видеоуроки.
Необходимо учитывать возрастные особенности:
• соответствие возрасту учебного
материала и его подачи
• ограниченная продолжительность
занятий и развивающих игр

27. Примеры

http://iqsha.ru/ — упражнения, обучающие и
развивающие игры для детей
http://www.solnet.ee/school/index.html —
виртуальная школа для детей
http://www.solnet.ee/games/g1.html — подборка
развивающих игр
http://www.piktomir.ru/ — программная система для
изучения азов программирования
дошкольниками и младшими
школьниками.

28. Современные технологии в школе

В школьном образовании грамотно организованное
использование современных технологий
позволяет:
• повысить интерес ученика к предмету
• активизировать его познавательную и
мыслительную деятельность
• повысить мотивацию к учению.

29. Современные технологии в школе

Эффективное использование современных
технологий
• этап предъявления учебной информации
полезно использовать:
обучающие видеоматериалы
мультимедийные презентации
демонстрации динамики
реальных процессов и принципов
действия различных технических
средств и механизмов

30. Современные технологии в школе

Эффективное использование современных
технологий
• этап усвоения учебного материала
полезно использовать:
компьютеры
дополнительное оборудование
учебное ПО
для организации лабораторных
работ, семинарских занятий

31. Современные технологии в школе

Эффективное использование современных
технологий
• этап повторения и закрепления усвоенных
знаний, умений и навыков
полезно использовать
тренажеры соответствующих
умений и навыков с
обращениями к усвоенным
знаниям

32. Современные технологии в школе

Эффективное использование современных технологий
• этап контроля и самоконтроля
полезно использовать
системы, способные проверить правильность
выполнения контрольных заданий, а также представить
результаты с учетом ошибок и затраченного времени и
сравнить показатели различных студентов по решению
одних и тех же задач.
Важно не свести весь контроль к
механическому тестированию.

33. Примеры общеобразовательных ресурсов

http://live-st.ru/items.asp?id=13 — электронный
образовательный комплекс
http://www.edu.ru/db/portal/sites/res_page.htm —
федеральный портал, на котором собраны
федеральные образовательные ресурсы для
общего образования;
http://www.alleng.ru/edu/educ.htm —
Российские общеобразовательные
порталы и сайты.

34. Виртуальные лаборатории

программно-аппаратный комплекс, позволяющий
проводить опыты:
посредством удаленного доступа к реальной
лаборатории, используя программно-аппаратное
обеспечение для управления и оцифровки полученных
данных, а также средства коммуникации
или
посредством моделирования всех
процессов при помощи компьютера
при полном отсутствии реальной
лаборатории.

35. Примеры виртуальных лабораторий

Вытеснение
одного металла
другим из
раствора соли
Изучение
взаимодействия
частиц и ядерных
реакций
Примеры генетических эксперментов с
различными объектами
http://www.virtulab.net/
http://star.mit.edu/genetics/

36. Примеры ПО для расчетов и анализа процессов в исследуемых системах

математические пакеты: MathCAD, MATLAB
программы анализа электронных схем PSpice
программы анализа механических устройств Adams
программы анализа систем с механическими,
гидравлическими, электрическими и электронными
элементами типа ПА9;
программы анализа логических схем на основе языка VHDL
• программы моделирования полей физических
величин по методу конечных элементов типа
Ansys
• системы имитационного моделирования
AnyLogic, Simulink

37. Необходимость аккуратного использования современных технологий в образовании

Важно помнить, что все современные технологии
являются лишь одним из инструментов обучения,
поэтому необходимы корректные,
ориентированные на желаемый результат,
целесообразные процедуры их применения.
Процедуры, в свою очередь, предполагают наличие
умения применять инструмент и желание его
применять

38. Необходимость аккуратного использования современных технологий в образовании

Внедрение в образовательную среду компьютерных
технологий требует осторожности, поскольку
может принести существенный вред при
кажущейся полезности.
Использование современных технологий не
означает полный уход от классических форм
обучения, а предполагает разумное сочетание
разных технологий образования.

39. Необходимость аккуратного использования современных технологий в образовании

Компьютер с ПО, ориентированным на решение
определенной учебной задачи, представляет собой
искусственный интеллект некоторого уровня сложности.
Этот искусственный интеллект призван облегчить
решение рутинных задач, при этом он может
создать серьезную проблему в обучении, если
мышление обучающегося в этой предметной
области менее сложно, чем искусственный
интеллект.

40.

Intel Perceptual Computing SDK в образовании
SDK позволяет создавать приложения нового
поколения, способные:
• различать лица
• распознавать мимику и жесты
• понимать голосовые команды;
• распознавать
устную
речь
и
синтезировать речь по печатному тексту
• отслеживать перемещения 2D/3D
объектов.

41.

Идеи естественно-интуитивного взаимодействия
в ДО
Идеи естественно-интуитивного могут добавить легкости и
непринужденности в общение, обязательное для
комфортного обучения.
Существуют решения создающие виртуальные классы, в
которых каждый участник представлен своим аватаром в
этом случае использование камеры и модулей
распознавания мимики и жестов позволит сделать аватар
намного более реалистичным, чем любой
смоделированный в 3D.

42. Примеры реализации аватара

Реализация аватара с использованием камеры
Kinect
http://youtu.be/-U-pPJsQiMA

43. Примеры реализации аватара

Реализация аватара с использованием Intel®
RealSense
http://youtu.be/2lGNrGoGWgU

44. Идеи естественно-интуитивного взаимодействия для людей с ограничениями слуха

Может быть использована система распознавания
речи для текстового сопровождения речи
преподавателя в реальном времени.
Возможна разработка системы компьютерного
сурдоперевода, в обе стороны, в этом случае
потребуется задействовать модули распознавания
речи и распознавания жестов.
В данном случае речь идет о
решении коммуникативных задач
в образовании.

45. Идеи естественно-интуитивного взаимодействия в дошкольном образовании

В дошкольном возрасте можно и нужно развивать
алгоритмический стиль мышления.
Под алгоритмом можно понимать план
деятельности, оформленный в некоторой
формальной системе обозначений, понятной для
исполнителя.

46. Идеи естественно-интуитивного взаимодействия в дошкольном образовании

Средства обучения дошкольников основам
алгоритмики, например, исполнительная среда
ПиктоМир (http://piktomir.ru/), в которой для
составления программ используются не текстовые
команды, а пиктограммы.

47. Идеи естественно-интуитивного взаимодействия в дошкольном образовании

Использование среды, аналогичной ПиктоМиру
плюс
• возможности жестового управления пиктограммами
или
• задание набора жестов и определение для каждого
жеста некоторой команды исполнителя
Оба варианта позволяют избавить
ребенка от необходимости сидеть
перед компьютером.

48. Идеи естественно-интуитивного взаимодействия в дошкольном образовании

Использовать жестовое управление в развивающих
и обучающих играх в любой области знаний:
• лото
• пазлы
• интерактивные карты
• управление исполнителем при изучении
алгоритмики
• список можно продолжать

49. Возможность визуализации сложных объектов

50. Идеи естественно-интуитивного взаимодействия и сохранение здоровья

Основные опасения – нарушения осанки и зрения.
Intel Perceptual Computing SDK позволяет разрабатывать
приложения, отслеживающие положение человека
перед камерой и расстояние до нее, в случае
отклонения от заданных, как оптимальные,
положения и расстояния выдать предупреждение.

51. Идеи естественно-интуитивного взаимодействия и сохранение здоровья

Основные опасения – нарушения осанки и зрения.
С другой стороны взаимодействие с компьютером, не
требующее стандартных устройств: клавиатуры и
мыши отменяет привязанность к компьютеру.
В этом случае основное взаимодействие с камерой, а
экран может находиться довольно далеко, что
позволяет снизить нагрузку на глаза.

52. Идеи естественно-интуитивного взаимодействия и сохранение здоровья

Модуль распознавания лиц Intel Perceptual Computing SDK
позволяет анализировать лицо и выявлять некоторые
эмоции.
Использование:
• Сбор информации об эмоциональном состоянии во
время занятий для последующего анализа.
• Смена деятельности в случае появления
негативных эмоций.

53. Идеи естественно-интуитивного взаимодействия и сохранение здоровья

Физкультминутка для глаз.
Идеи естественно-интуитивного взаимодействия могли
бы сделать гимнастику для глаз более интересной.
Например, можно создать приложение герой, которого
реагировал бы на подмигивания, улыбку и другие
мимические жесты, использовать при этом модуль
распознавания лиц.

54. Идеи естественно-интуитивного взаимодействия и сохранение здоровья

Пальчиковая гимнастика — прекрасное средство для
• развития мелкой моторики
• стимулирования области мозга, отвечающей за речь
Модуль распознавания жестов позволяет создать
приложения, для более увлекательного выполнения
пальчиковой гимнастики.

55. Идеи естественно-интуитивного взаимодействия и организация виртуальных лабораторий

Добавление реалистичности в проведение опытов с
помощью модуля:
распознавания жестов реализация жестовой
манипуляции приборами или материалами,
используемыми в опыте и изображенными на экране
отслеживания 2D/3D объектов, привязать
реальным объектам роли и изображать
выполнение эксперимента в реальности, а
компьютер будет моделировать
процесс и результаты.

56. Идеи естественно-интуитивного взаимодействия и организация виртуальных лабораторий

Модуль отслеживания двумерных и трехмерных
объектов позволяет создавать дополненную
реальность, которая может быть использована в
образовании.
Например, с помощью меток можно давать ответы на
вопросы на этапе контроля усвоения знаний, а также
можно демонстрировать визуальное отображение
каких-либо реальных объектов.
Примеры дополненной реальности в
образовании: http://arnext.ru/articles/20ar-eksperimentov-v-obrazovanii-2353.

57. Примеры использования дополненной реальности в образовании

https://www.youtube.com/watch?v=7G3H3ImCWlE

58. Примеры использования дополненной реальности в образовании

Песочница дополненной
реальности позволяет
детям создавать своими
руками ландшафты из
песка, получать при этом
горы, ущелья, вулканы,
долины и реки.
http://habrahabr.ru/post/220239/

59. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль I. Интерактивная доска (Interactive whiteboard)
большой сенсорный экран, присоединенный к
компьютеру, информация с которого проецируется
на доску с помощью проектора.
Инструмент для
• ускорения доступа к информации
• облегчения ее восприятия
• формирования творческой атмосферы
в коллективе обучающихся.

60. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль I (продолжение).
Объединение
• интерактивной доски
• камеры Creative* Senz3D
(или Intel® RealSense™ 3D Camera)
• Intel® Perceptual Computing SDK
(или Intel® RealSense™ SDK)
может дать крайне интересные решения

61. Мысль I. Интерактивная доска (Interactive whiteboard)

Примеры реализации похожих идей
Приложение
Digital
Blackboard
https://www.youtube.com/watch?v=WV9K_z4l_J8

62. Мысль I. Интерактивная доска (Interactive whiteboard)

Примеры реализации похожих идей
Приложение
Smart
ScrumBoard
https://www.youtube.com/watch?v=aLLv2zHE7qk

63. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль II. Biophilia
образовательная программа, разработанная для
вдохновения детей на использование собственных
творческих способностей в изучении музыки и наук
посредством новых технологий.
Междисциплинарная программа, использующая набор
приложений, помогающих связать вместе
различные области знаний, игровое
творчество и интерактивную сущность
сенсорного экрана

64. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль II (продолжение).
http://biophiliaeducational.org/about/

65. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль II (продолжение).
Реализация
Björk
ученые университета Исландии
учителями из городской школы Рейкьявика
Для детей с синдромом дефицита
внимания и гиперактивности,
дислексией
и другими трудностями обучения.

66. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль II (окончание).
Проект Biophilia может служить примером и дать
несколько вдохновляющих идей для разработки
аналогичных приложений с использованием идей
естественно-интуитивного взаимодействия и пакета
Intel® Perceptual Computing SDK (или Intel® RealSense™
SDK).
Подробности проекта:
http://biophiliaeducational.org/about/
.

67. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль III. Музыкальные инструменты
Stefan Sadchikov,
Drummer
призер конкурса
Intel Perceptual
Computing Challenge
https://www.youtube.com/watch?v=1r9F4SscrpI

68. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль III. Музыкальные инструменты
Drummer
еще одна
реализация
https://www.youtube.com/watch?v=XJsHkrYeds4

69. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль III. Музыкальные инструменты
Digital Piano
https://www.youtube.com/watch?v=1r9F4SscrpI

70. Некоторые мысли о развитии идей естественно-интуитивного взаимодействия в образовании

Некоторые мысли о развитии идей естественноинтуитивного взаимодействия в образовании
Мысль III. Терменвокс (Theremin)
Подробности:
http://en.wikipedia.org/wiki/Theremin
https://www.youtube.com/watch?v=qHBPjNZhMk8).

71. Мысль III. Терменвокс (Theremin)

Виртуальный терменвокс (Virtual Theremin) с
использованием Intel Perceptual SDK
https://www.youtube.com/watch?v=veNBKPqJe7Y

72. Мысль III. Музыкальные инструменты

Было бы очень интересно попробовать
реализовать приложение с использованием
пакета
Intel® Perceptual Computing SDK
(или Intel® RealSense™ SDK),
позволяющее сформировать
начальные навыки игры на
различных музыкальных
инструментах.

73. Заключение

Данный в лекции обзор возможных применений
идей естественно-интуитивного взаимодействия с
компьютером в образовании не претендует на
полноту, всегда можно найти много идей вокруг
себя.
Однако есть надежда, что удалось задать некоторое
направление для поиска идей по использованию
возможностей естественно-интуитивного
взаимодействия человека с компьютером в
образовании.