Средства мультимедиа
Средства мультимедиа.
Системы речевого ввода и вывода информации.
Механизм распознавания речи
Системы синтеза речи.
Компьютерные средства обеспечения звуковых технологий.
Компьютерные средства обеспечения звуковых технологий.
Компьютерные средства обеспечения видеотехнологий.
Компьютерные системы оперативной связи. Компьютерная телефония.
Компьютерная телефония.
Компьютерная телефония.
Интернет - телефония.
Интернет - телефония.
Интернет - телефония.
179.50K
Категория: ИнформатикаИнформатика

Средства мультимедиа

1. Средства мультимедиа

Мультимедиа - область компьютерной технологии, связанная с
использованием информации, имеющей различное физическое
представление (текст, графика, рисунок, звук, анимация, видео и
т.д.).
Мультимедиа (multimedia - многосредовость) средства - это
комплекс аппаратных и программных средств, позволяющих
человеку общаться с компьютером.
Виртуальная реальность - иллюзорный мир, в который
погружается и с которым взаимодействует человек.

2. Средства мультимедиа.

Устройства аудио и видеоввода и вывода информации;
Высококачественные звуковые (sound-) и видео (video-) платы;
платы видеозахвата (video grabber), снимающие изображение с
видеомагнитофона и видеокамеры и вводящие его в ПК;
высококачественные акустические и видеовоспроизводящие
системы с усилителями, звуковыми колонками, большими
видеоэкранами;
сканеры;
принтеры и плоттеры;
внешние запоминающие устройства на оптических и цифровых
видеодисках (CD-ROM, DVD-ROM, RAM).

3. Системы речевого ввода и вывода информации.

Системы распознавания речи:
ориентированные на распознавание отдельных
слов, команд и вопросов;
распознавания предложений и связной речи;
системы идентификации по образцу речи.
Механизм распознавания речи состоит из четырех
блоков:
препроцессор;
экстрактор;
компаратор;
интерпретатор.

4. Механизм распознавания речи

Препроцессор или модуль сбора данных обеспечивает приведение
речевого сигнала к наиболее качественному виду (производится
автоматическая регулировка усиления, подавление эхо-сигнала, фиксация
наличия или отсутствия речи и интонационного выделения конца фразы
и т. п.).
Экстрактор выполняет спектральный анализ сигнала. Акустикофонетический поток звуков разбивается на короткие кадры
(длительностью примерно по 10 мс) и выявляются спектральные
характеристики каждого кадра.
Компаратор выполняет акустическое сравнение выявленных
характеристик каждого кадра с имеющимися акустико-фонетическими
образцами. Сравнение производится на уровнях выявления контекстнонезависимых фонем, контекстно зависимых фонем и моделей слов.
Интерпретатор решает задачу наилучшего разбиения полученного от
компаратора «алфавитного» потока на слова и фразы.

5. Системы синтеза речи.

Базируются:
на выборке из словаря готовых оцифрованных звуковых
последовательностей;
на синтезаторах речи.
Синтезаторы речи состоят из модулей:
Нормализации (фильтрация шумовых символов текста (знаков
препинания, кавычек, тире, скобок и т. п.);
Преобразования (переводит текст из орфографического в фонетический
формат, из букв в звуки);
Анализа (выполняет одновременно лексикографическую и
синтаксическую обработку для выбора варианта произношения, ритма и
интонации);
Фонетики (обогащает звучание речи дифтонгами, трифтонгами, четырех
звучиями и другими полезными составляющими);
обработки звука (преобразует фонетические данные в звуковые сигналы
генерируемые волновые последовательности (с частотой порядка 10 кГц)
модулируются фонетическим потоком.
Программы: Infovox, Monologue, Pro Verbe.

6. Компьютерные средства обеспечения звуковых технологий.

Звуковые платы (sound blaster) используются для создания, записи
и воспроизведения различных звуковых сигналов.
Функционально плата содержит несколько модулей:
модуль записи и воспроизведения звука;
• Разрядность преобразования определяет динамический диапазон
сигнала;
• Частота дискретизации - верхнюю границу диапазона частот звукового
сигнала.
модуль синтезатора звука;
• FM – синтез (синтез с помощью частотной модуляции или FM-синтез
(Frequency Modulation);
• WT – синтез (синтез с использованием таблицы волн (Wave Table).
модуль интерфейсов.
• Интерфейс музыкальных инструментов MIDI (Musical Instrument
Digital Interface), можно проигрывать компакт-диски, разговаривать через
модем и воспроизводить свою собственную компьютерную музыку.
Устройство смешения сигналов от разных источников;
модемный и игровой порты;
усилитель мощности.

7. Компьютерные средства обеспечения звуковых технологий.

Устройство смешения сигналов от разных источников;
модемный и игровой порты;
усилитель мощности.
Акустические системы (пассивные и активные);

8. Компьютерные средства обеспечения видеотехнологий.

Видеоплата + микросхема акселератор;
Плата видеозахвата (video grabber) выполняет захват кадров
видео, их преобразование и запись в память ПК;
граберы кадров (frame grabber) (предназначены для захвата
неподвижных изображений);
платы захвата (capture board) (могут монтировать целые
видеофильмы).
Средства сжатия данных (CODEC - Compressor DECompressor) Motion, JPEG, INDEO и др.
Технология INDEO - (предшествующая DVI - Digital Video
Interactive).

9. Компьютерные системы оперативной связи. Компьютерная телефония.

Компьютерной телефонией называют технологию CTI
(Computer Telephony Integration), компьютерные
ресурсы применяются для выполнения исходящих и
приема входящих звонков и для управления
телефонным соединением.
Для реализации необходимо иметь:
голосовой (Voice) модем, к одному из входов
которого подключается телефонная линия;
звуковую карту и акустическую систему;
микрофон (телефонный аппарат с тональным
набором).

10. Компьютерная телефония.

Программная поддержка CTI:
в ОС Windows 9x, Windows NT/2000 Server
интегрирован интерфейс для телефонии TAPI
(Telephony API);
фирма Novell и AT&T интерфейс NetWare TSAPI
(Telephony Services API);
фирма AnsveSoft предложила систему Universal
TAPIService Provider для подключения к ПК
офисной АТС;
фирма CallWare Tehnologies разработала
программы: Phonetastic - обслуживания телефонных
вызовов.

11. Компьютерная телефония.

Направления применения:
единообразный доступ к сообщениям разных видов:
голосовых, факсимильных, эл. Почты и т.д.
Голосовая почта;
Электронный офис;
Системы компьютерного факса;
Интерактивные голосовые системы доступа к базам
данных;
Сервисное обслуживание телефонной связи;
Электронный секретарь;
Организация видеоконференций;
Появление своеобразных мультимедийных
станций.

12. Интернет - телефония.

IP-телефония предназначена для передачи голоса, данных и видео
по каналам Интернета;
При организации телефонной связи передается два типа
информации:
командная;
речевая.
Качественная передача зависит от трех факторов:
качества кодирования голоса и размещения голосового трафика в
пакетах;
качества передачи пакета в сети;
успешности восстановления голосового трафика по полученным
пакетам.
Шлюз или телефонный сервер (ITS, Internet Telephony Server осуществляет преобразование управляющей информации и
данных, поступающих из одной сети, в пакеты сети Интернет и
обратно.

13. Интернет - телефония.

Функции шлюза:
реализация физического интерфейса с коммуникационной сетью;
детектирование и генерация сигналов абонентской сигнализации;
преобразование сигналов абонентской сигнализации в пакеты
данных и обратно;
оцифровка и кодирование голосового трафика с использованием
кодеков и специальных анализаторов. На приемном стороне восстановление аналогового сигнала;
сжатие кодированного голосового трафика;
упаковка голосового трафика в пакеты данных и обратная
операция;
соединение абонентов;
передача сети сигнализационных и голосовых пакетов;
разъединение связи.

14. Интернет - телефония.

Факторы снижения качества передачи пакетов:
Задержка - время ожидания передачи пакетов ( не более 250-300 мс);
искажение пакетов;
потеря пакетов и перестановка их во времени.
Для передачи речевых пакетов используется недостоверный
транспортный протокол, например UDP.
Базовые схемы IP - телефонии:
голосовые соединения между двумя компьютерами;
голосовые соединения через Интернет пользователей без
использования компьютера.
Варианты реализации:
программный (все процедуры выполняет ПК), продукт Net Meeting
фирмы Microsoft;
программно-аппаратный (спец. Процессор Digital Signal Prosessor DSP карта), уст-ва фирмы Dialogic, прогр. Фирмы VocalTech.
Соединение по схеме телефон-Интернет-телефон с помощью адаптера
фирмы Aplio.
English     Русский Правила