Мультимедиа и мультимедийные технологии

1.

Мультимедиа и мультимедийные технологии
Мультимедиа — это совокупность разнообразного контента, который человек потребляет
одновременно через разные органы чувств. Пример мультимедиа — симулятор вождения
автомобиля для сдачи экзамена в ГАИ.
В нем есть все: и графика, и звук, и текстовые подсказки, и интерактивное управление
через игровой руль. Чтобы пользоваться симулятором, человек задействует глаза, уши,
руки.

2.

Мультимедиа используют, чтобы развлекать людей, проводить исследования и продавать
товары и услуги. Но особое место мультимедиа занимает в обучении — причем обучать
можно самые разные группы людей — школьников и студентов, граждан, сотрудников
компаний, покупателей и др.
Рассказываем в статье, что за зверь — мультимедиа, приводим мультимедийную историю и
поясняем, как правильно использовать мультимедиа в бизнесе и обучении, чтобы не было
когнитивной перегрузки.

3.

Что такое мультимедиа?
Мультимедиа — это воздействие контентом на человека через несколько
информационных каналов: зрительный, слуховой, тактильный, мышечный, вестибулярный.
Презентации и 4D-кино — это мультимедиа-объекты. В презентациях используют
анимацию, звук и графику (слух и зрение). А в 4D-кино зрители могут ощущать движение
и вибрацию кресел, ветер, дым, брызги воды и запахи — тут задействованы все пять
каналов.
Но мультимедиа не просто
солянка из разного контента:
это
также
компьютерная
технология,
которая
объединяет,
обрабатывает,
хранит, передает и отображает
разные компоненты данных:
текст, графику, анимацию,
видео, звук и речь.

4.

Про технические средства поговорим далее, а пока подробнее разберем компоненты:
1.
2.
3.
4.
5.
6.
Текст
Гипермедиа
Изображения
Аудио
Видео
Анимация
Текст: передает конкретные сведения или подкрепляет другие компоненты. Например,
сайты в интернете содержат картинки. Стандартно пользователь открывает страницу и
видит изображение. Но если изображение по какой-то причине не загрузилось, вместо
изображения загрузится поясняющий текст.

5.

Гипермедиа: это принцип организации информации, в котором данные соединены
логически или ассоциативно гиперссылками. Пример гипермедиа — Всемирная паутина. В
ней пользователь может получать доступ к связанным между собой документам на
различных компьютерах, если те подключены к интернету.
Изображения: это иллюстрации, фотографии, векторная графика и любой статичный
визуал. Они нужны, чтобы дополнять текст и делать его восприятие проще. С помощью
изображений объясняют сложные вещи, как, например, в инфографике.

6.

Аудио: это речь, музыка и звуковые эффекты. Аудио используют, как чтобы дополнить
другие компоненты, так и чтобы передавать независимые данные. Пример: речь диктора
в подкасте — вполне самостоятельный компонент, которому не нужен ни визуал, ни
анимация.
Видео: это движущиеся друг за другом изображения, которые образуют логическую
цепочку. Чаще всего видеоконтент используют вместе с аудио в обучающих или
развлекательных целях.
Анимация: это различные эффекты, которые возникают перед пользователем произвольно
или в ответ на его манипуляции — нажатие клавиш, кнопки мыши, тачпада.

7.

Инфографика — это способ передачи знаний при помощи графических элементов,
изображений и текста, которые делают непонятную информацию доступной.
Для создания инфографики можно использовать сервисы, рисовать самостоятельно при
помощи графических редакторов или прибегнуть к услугам специалистов, которые могут
создать как статическое, так и анимированное изображение.
В этой статье мы рассказываем о том, какие виды инфографики существуют, где ее
используют, а также как и с помощью чего ее создавать.
В зависимости от того, как человек взаимодействует с мультимедиа, выделяют две группы:
линейное и нелинейное мультимедиа.

8.

Линейное
Или по-другому неинтерактивное мультимедиа. Пользователь не может ни управлять
таким мультимедиа, ни взаимодействовать с ним. Пользователь потребляет контент в той
форме, в которой его создали.
Линейное мультимедиа задействует разные информационные каналы человека, кроме
тактильного, поскольку таким мультимедиа нельзя управлять
Фильм — пример линейного мультимедиа. Он идет последовательно, от начала до конца.
Зритель не может поменять героев местами, повлиять на сюжет или изменить озвучку.
Но линейные мультимедиа не бесполезны.
Они подходят, когда надо донести информацию для большой группы людей. Допустим, на
тренингах и семинарах, где десятки слушателей — если каждый начнет менять контент
под себя, получится хаос, и никто ничего не поймет.

9.

Нелинейное
В нелинейных медиа пользователь может управлять контентом как пожелает: менять
скорость воспроизведения, визуальную форму — с 2D переходить на 3D, включать или
отключать голос диктора.
В нелинейном мультимедиа
пользователь
может
управлять его компонентами
как
пожелает
за
счет
интерактивного
взаимодействия
—
кнопок,
клавиш,
манипуляторов,
джойстиков или регуляторов

10.

Компьютерная игра — типичное нелинейное мультимедиа. Геймер выбирает сюжетную
линию, меняет внешний вид персонажа и прокачивает его.
Онлайн-игра «Мир танков» — типичное интерактивное мультимедиа

11.

Какие технологии используют в мультимедиа?
Мультимедиа — это не только способ подачи контента, но и технологии. Они базируются
на аппаратных и программных средствах, которые также включают в себя разные
элементы.
Любая мультимедийная технология состоит из аппаратной и программной частей

12.

Аппаратные средства
Если кратко, это различная аппаратура и ее компоненты, которые нужны, чтобы
воспроизводить мультимедийный контент, по-простому — «железо». Аппаратные средства
разработчики используют в комплексе, чтобы создать и выпустить некий девайс:
компьютер, смартфон, очки виртуальной реальности.
К аппаратным средствам относят:
1. средства звукозаписи — платы, микрофоны, гарнитура;
2. средства звуковоспроизведения — усилители, колонки, акустические системы,
наушники;
3. манипуляторы — компьютерные мыши, джойстики, тачпады, стилусы, игровые рули;
4. средства виртуальной реальности — перчатки, очки, шлемы;
5. носители информации — CD, DVD, HDD, флеш-накопители;
6. средства передачи — видеокамеры, цифровые фотоаппараты, смартфоны;
7. средства записи — DVD-ROM, CDRW/DVD+RW, TV&FM-тюнеры;
8. средства обработки изображения — платы видеомонтажа, клавиатуры, графические
акселераторы;
9. готовые девайсы — компьютеры, телевизоры, ноутбуки, смартфоны, планшеты.

13.

Аппаратные средства — это и готовые девайсы вроде смартфонов, и различные платы,
схемы и карты, которые сами по себе мало что могут

14.

Программные средства
Это ПО, софт и различные веб-приложения, в которых пользователь непосредственно
потребляет или создает мультимедийный контент.
К программным средствам относят:
1.
2.
3.
4.
5.
6.
онлайн-энциклопедии,
интерактивные обучающие курсы,
игры,
графические редакторы,
программы видеомонтажа и 3D-моделирования, а также
ПО, которое управляет непосредственной работой «железа».

15.

У таких программ нет пользовательского интерфейса — юзеры работают в них через
машинные команды.
Программные средства — это готовые мультимедийные приложения, ресурсы и
контент

16.

Кто придумал технологию мультимедиа?
Зарождение мультимедиа началось с концепции машины МЕМЕХ. Ее предложил
американский ученый Ванневар Буш в 1945 году. Он считал, что информация на бумаге —
прошлый век, а поиск данных по алфавитному указателю или индексу давно устарел,
поэтому наука обязана предложить людям больше.
В качестве альтернативы он разработал концепцию фото-электромеханической машины
МЕМЕХ. Сразу оговоримся: машину ученый так и не построил, зато описал ее работу.
По задумке, информация в МЕМЕХ должна была храниться в виде микрофильмов, а сама
машина — выглядеть как письменный стол с экранами. Предполагалось, что на эти экраны
проецировался бы контент с микрофильмов.

17.

В микрофильмах должны были храниться различные книги, картинки, газеты.
Специальный прозрачный валик занимался бы индексированием этого контента, то есть
выдавал бы конкретный. Стоило человеку набрать на вмонтированный в стол клавиатуре
необходимый код, как машина запускала проекцию и книга возникала на экране MEMEX.

18.

Инновационная идея заключалась в том, что поиск информации машиной должен был
происходить не по порядковому номеру, алфавитному указателю или индексу, а согласно
смысловому содержанию через перекрестные ссылки.
Эти ссылки создает мозг человека, поэтому для навигации человек должен был
использовать специальный мультимедийный шлем.
По сути, Буш не просто придумал машину, а сформировал концепцию мультимедиа с
гипертекстом и интерактивным взаимодействием.

19.

Следующее важное событие в развитие технологии — появление первой компьютерной
игры в 1952 году. Логическая игра «OXO» представляла собой цифровую версию
«Крестиков-ноликов». Игру создал А.С. Дуглас во время своего обучения на докторскую
степень в Кембриджском университете, в Великобритании.
Игра существовала в единственном экземпляре на большом компьютере EDSAC. Для игры
использовался вращающийся телефонный диск, подключенный к компьютеру. Каждая
ячейка на сетке крестиков-ноликов соответствовала одной из цифр на циферблате. Чтобы
сделать ход — поставить крестик или нолик — игрок набирал эту цифру на телефонном
диске, после чего компьютер делал ответный ход.

20.

А через десятилетие, в 1962 году после многих лет работы Мортон
Хейлиг представил первое в мире VR-устройство под названиями Sensorama. Человек
садился на стул, который двигался вместе с устройством, а большой стереоскопический
экран и динамики создавали визуальные и звуковые картины.
В устройстве использовалась аэродинамическая труба для создания воздушных эффектов,
а также распылитель запахов.
Но серьезный толчок в развитии мультимедиа
произошел только в 80-х годах XX века.
Американский компьютерщик и бизнесмен
Билл Гейтс создал мультимедийный продукт
National Art Gallery. London. По сути, он
оцифровал музейную базу данных: контент
включал изображения, звук, анимацию и
гипертекст.

21.

Дальше — больше. 12 августа 1981 года IBM представил первый в мире персональный
компьютер.
Это был 16-битный процессор с рабочей частотой 4,77 мегагерц, 64 килобайтами
оперативной памяти. Компьютер поставлялся с одним или двумя дисководами. В
следующие годы компьютеры совершенствовались, а вместе с ними и мультимедийные
технологии.
Первый
персональный
компьютер IBM имел два
видеоадаптера на выбор: MDA
—
для
монохромного
алфавитно-цифрового дисплея
или CGA — для цветного
графического
дисплея,
к
которому
можно
было
подключить
композитный
монитор и даже простой
телевизор.

22.

В каких сферах используют мультимедиа?
Фактические во всех: в рекламе, обучении, развлечении, медицине, бизнесе, искусстве.
Образование
В образовании используют видео, цифровые энциклопедии, интерактивные путеводители,
тренажеры, игры, тесты и стимуляторы. Учиться через мультимедиа проще, поскольку
человек использует несколько органов чувств.
Это значит, что над запоминанием информации работают разные отделы мозга, и в итоге
человек тратит меньше времени, чтобы изучить предмет, а полученные знания дольше
хранятся в памяти.

23.

Медицина
В медицине специалисты используют мультимедийные базы знаний, методики операций,
каталоги лекарств. Существуют даже медицинские стимуляторы. С помощью VR и роботов
врачи проводят операции, учатся оказывать первую медицинскую помощь, нарабатывают
навыки общения с пациентами.

24.

Игровая индустрия
Один из лидеров по использованию мультимедийных технологий — компьютерных и
мобильных игр, а также приставок.
В них используют графику, звук, манипуляторы для управления персонажем, звуковые и
визуальные эффекты, а еще элементы дополненной реальности. Фактически игрок может
погрузиться в трехмерный виртуальный мир полностью, поскольку использует зрение,
слух и руки (тактильность).

25.

Бизнес
Мультимедийные технологии использует бизнесе — это:
1. интерактивный рекламный и информационный контент для привлечения внимания
потребителей;
2. анимированные презентации со звуковыми эффектами на встречах с инвесторами,
3. рекламные видеоролики и прямые эфиры с экспертами для повышения узнаваемости
бренда;
4. приложения, спецпроекты и даже электронная очередь. Помимо своего основного
назначения, она собирает статистику и отчеты по услугам.

26.

Военная сфера
Мультимедиа используют, чтобы обучать солдат и отрабатывать боевые и тактические
навыки: как обслуживать военную технику, оказывать медицинскую помощь и действовать
слаженно в стрессовых ситуациях.
Например, VR- и AR-технологии используют, чтобы учиться проводить военные операции
и сажать самолеты. В состав подобных тренажёров часто входит учебная кабина, которая
имитирует военную технику, экран и шлем виртуальной реальности.

27.

Искусство
Мультимедиа делают искусство доступным. У людей появляется шанс услышать
произведения композиторов, увидеть цифровые копии картин, прочитать книги с экранов
компьютеров, посмотреть записи театральных постановок, и все это — не выходя из дома.
Можно даже подключаться к трансляциям концертов в режиме реального времени — такое
было популярно в пандемию.
Отдельное применение мультимедиа в сфере искусства — виртуальные туры. Человек
может посещать популярный места, например Эрмитаж в Санкт-Петербурге, находясь за
сотни километров.

28.

Архивное дело
Мультимедийный софт используют, чтобы вести архивы и готовить документацию на
сложные технические изделия. Мультимедиа применяется в картографии, а еще его
использую коллекционеры. Они составляют каталоги слайдов с изображениями почтовых
марок, этикеток, картин.

29.

Что такое мультимедийные средства обучения?
Мультимедийные средства обучения — это интерактивные обучающие материалы на базе
мультимедийных технологий. То есть ученики могут напрямую взаимодействовать с
контентом: менять язык, убавлять громкость и менять скорость воспроизведения,
уменьшать или увеличивать сложность.
Мультимедийное обучение — это особый подход, который выстроен на когнитивной
теории обучения. Теорию мультимедийного обучения разработал педагог-психолог
Калифорнийского университета Ричард Мейер. Он считал, что продуктивным можно
назвать обучение, в котором вербальный и визуальный контенты синхронно
воспринимаются человеком.

30.

До теории Мейера считалось, что мозгу трудно воспринимать одновременно два вида
информации: визуальную и звуковую. Якобы учащийся может испытывать перегрузку и
плохо концентрироваться. Мейер доказал обратное.
Вербальная информация лучше запоминается, если ее сопровождать визуальной
картинкой. Два типа информации не перегружают учащегося, а, наоборот, помогают лучше
запоминать материал.
Теория Мейера строилась на том, что необходимо использовать смешанное обучение —
вербальное и невербальное. А для этого необходимы мультимедийные материалы. То есть
средства, которые используют визуальный и звуковой контент. Они помогают быстрее
усваивать материал, особенно, если обладают интерактивностью.
Просто пример таких средств — презентации. В них используют изображения, анимацию,
звуки, текст.

31.

32.

Другой пример — мультимедийные тренажеры. На таких готовят пилотов. Тренажер
имитирует кабину самолета и разные ситуации, которые должен решать летчик, плюс
позволяет взаимодействовать интерактивно: нажимать кнопки, выставлять настройки,
говорить по рации.

33.

Преимущества мультимедийных средств перед печатными следующие:
1. помогают проще воспринимать учебный материал;
2. повышают мотивацию к обучению, поскольку не так занудны, как зубрежка по книжке;
3. используют всесторонний подход к обучению, из-за чего обучающийся глубже
понимает предмет;
4. позволяют моделировать сложные или опасные эксперименты, которые нельзя
получить в реальной жизни;
5. визуализируют абстрактную информацию — через схемы, инфографику, анимацию —
из-за чего мозгу ее проще усвоить.
6. В итоге не человек подстраивается под обучение, а средства обучения подстраиваются
под человека.

34.

Как учиться с мультимедиа и избежать когнитивной
перегрузки?
Что такое когнитивная перегрузка?
Как мы говорили выше, в мультимедийном обучении человек обрабатывает информацию
через глаза и уши. Однако есть особенность: человек может пропустить через себя гору
информации, но не факт, что мозг все усвоит.
Если информации много, то когнитивная (по-другому, мыслительная) обработка снижается
и человек перестает воспринимать контент. Это и есть когнитивная перегрузка.

35.

Как работает мозг с мультимедиа?
Когда человек впитывает обучающий мультимедийный материал, его мозг может
испытывать три вида нагрузки:
1. Внешняя, или лишняя обработка. Эта нагрузка тратит ресурсы мозга на вещи,
которые не важны в обучении, например осмысляет картинки, которые только
приукрашают презентацию, но к предмету отношения не имеют.
2. Внутренняя нагрузка, или основная обработка. Заставляет мозг сохранять знания в
памяти. Чем сложнее материал, тем больше нагрузка.
3. Немецкая нагрузка, или генеративная обработка. Заставляет мозг осознавать
изучаемый материал. Бесконечный поток или плохо структурированный текст
увеличивают нагрузку.

36.

12 правил использования мультимедиа
Вот основные принципы мультимедийного обучения и вытекающие из них правила. Мы
рекомендуем следовать им, если вы действительно хотите донести информацию до
пользователя:
Принцип согласованности: необходимо убирать из обучающих материалов лишние
детали, которые к предмету или изучаемой области отношения не имеют.
Еще не стоит добавлять контент, который не относится к теме, но вызывает
эмоциональные реакции, например мемы. Из-за особенностей внимания студенты, скорее
всего, запомнят веселые картинки, а не сам предмет.

37.

Правило №1: не следует использовать красивые картиночки, фоновую музыку, завитушки
на полях или мемы — это информационный мусор, отвлекающий внимание.
Принцип сигнализации: принцип гласит, что если на экране отображается разный
обучающий контент — к примеру, график и схема — учащиеся должны понимать, в какой
последовательности они должны их изучать.
Правило №2: создатели мультимедийных материалов должны помогать учащимся:
добавлять подсказки, например, стрелки или подсветку.
Принцип избыточности: мультимедийные средства обучения могут включать речь,
графику, видео, анимацию и текст. Однако с мозгу легче всего обрабатывать информацию,
если она содержит только звуковой и визуальный контент.

38.

Правило №3:
Текст + звук = отлично!
Текст + анимация = перегрузка визуальных каналов
Принцип пространственной смежности: в мультимедийный материалах текстовый
контент должен находиться рядом с графикой, которую он описывает. Это сводит к
минимуму когнитивные усилия, которые учащиеся тратят, чтобы самостоятельно связать
текст и изображения.

39.

Правило №4: подпись должна стоять рядом с той частью изображения, которое она
поясняет.
Принцип временной смежности: повествование и анимация должны воспроизводиться
одновременно. Например, учащиеся не должны слышать о каком-то процессе, и только
потом видеть, как он запускается.
Правило №5: звук должен идти вместе с анимацией, а не перед/после нее.
Принцип сегментации: когда учащиеся могут контролировать скорость поступающих
данных, они лучше запоминают информацию.
Правило №6: дайте учащимся возможность управлять темпом мультимедийного урока.
Предтренировочный принцип: учащиеся могут быть перегружены количеством или
сложностью информации в мультимедийных материалах. Чтобы этого избежать, надо
определить ключевые термины или понятия, объяснить их и только после углубляться в
сложные описания.
Правило №7: начинать нужно с пояснения терминов и понятий и только потом можно
переходить к основной теме.
Принцип модальности: принцип модальности рекомендует использовать устное
повествование вместо печатного текста на экране, если на нем одновременно
присутствуют изображения. Если мультимедийные сообщения содержат и изображения, и
текст, их комбинация перегружает зрительные каналы учащихся.

40.

Правило №8: если у вас есть изображения, не добавляйте еще и текст — поясните голосом.
Мультимедийный принцип: слова должны быть либо напечатаны, либо произнесены, но
не то и другое одновременно.
Правило №9: не следует произносить текст и в то же время показывать его на экране.
Принцип персонализации: жесткий академический язык способен перегружать
учащихся. Вместо профессиональной терминологии лучше использовать неформальный
язык — это упрощает процесс запоминания.
Правило №10: избегайте профессиональных терминов, используйте понятные слова и
сокращения.
Голосовой принцип: текст в учебных мультимедийных материалах должен читать человек,
а не робот или компьютер. Чтец-робот не умеет менять интонацию, делать паузы, из-за чего
речь воспринимается как монотонный поток слов.

41.

Правило №11: привлекайте профессиональных дикторов или чтецов для озвучки
материалов.
Принцип изображения: когда в обучающих материалах есть изображения людей, это
никак не улучшает результаты обучения, а, наоборот, вредит. Лицо и мимика человека,
пусть и преподавателя, отвлекают внимание.
Правило №12: по возможности убирайте из материалов изображения людей — диктора,
инструктора, учителя.