Стандарт кодирования видео и звуковой информации. MPEG-4

1. Стандарт кодирования видео и звуковой информации

MPEG-4

2. MPEG-4 применяется в:

- ЦТВ-вещании и видеосвязи;
-интерактивной графике (синтез изображений);
-интерактивных мультимедийных приложениях,
в т.ч. передаваемых по Интернет.
MPEG-4 обеспечивает большую степень сжатия для:
1) видеосвязи по тлф и низкоскоростным каналам (64 кбит/с);
2) передачи видео и звука по Интернет;
/обеспечивает интерактивность/

3. ОБЪЕКТЫ И СЦЕНЫ

В MPEG-4 - объектно-ориентированный подход:
передаваемое изображение со звуком - совокупность видеои аудио- объектов.
Видеообъект VO - visual object -изображения людей и
предметов, перемещающихся перед неподвижным фоном и
сам фон. Обычное тв-изображение единый видеообъект.
Аудиообъект ААF - audio object -голос, музыка, др.звуки.
Связанные видео- и аудиообъекты аудио-визуальный объект AVOs - audio-visual object
Видео- и аудиообъекты составляют сцену.
В MPEG-4 специальный язык описания сцен - BIFS
(Binary Format for Senes - двоичный формат для сцен).

4.

Иерархическая структура сцены
В описании структуры: координаты объектов в
пространстве, их привязка ко времени.
VO в разных плоскостях перекрываются
(находящиеся ближе перекрывают дальних).

5.

Сцена содержит все объекты, информация о которых есть в
потоке, или только часть объектов.
В интерактивном режиме
можно влиять на развитие сцены.
MPEG-1, MPEG -2 - фиксированный алгоритм кодирования,
МРЕG-4 -
множество методов кодирования:
-алгоритмы, сходные с MPEG-1, MPEG-2;
-методы кодирования, основаные на понятии VO
Выбор метода кодирования - по характеру изображения и
коэффициенту сжатия. MPEG-4 сжимает натуральные,
синтетические изображения и объединяет их при воспроизведении

6. Видеокодер MPEG-4

7. На схеме:

• ДКП - прямое дискретно-косинусное преобразование;
• ДКП-1 - обратное ДКП;
• Кв квантователь;
• Кв-1 - деквантователь;
• ЗУ запоминающее устройство;
• Пред. 1, Пред.2 - блоки, формирующие предсказанные
изображения в разных режимах кодирования;
• ОД - оценка движения и формирование векторов движения;
• Мп мультиплексор;
• БЗУ буферное запоминающее устройство;
• УКС управление коэффициентом сжатия;
•«Выбор» - подключение блоков предсказания в зависимости от
метода кодирования.

8. Методы кодирования натуральных изображений:

1) Прямоугольные изображения (обычные ТВ кадры) гибридный метод, с оценкой и компенсацией движения для МБ
(16x16) и ДКП ошибки предсказания в блоках (8x8).
МРЕG-1,2
2 уровня :
1.Очень низкой скорости VLBV (Very Low Bitrate Video)для низкого разрешения и fк = 10...15 Гц по узкополосным
каналам с 5...64 кбит/с.
Используется в видео-тлф с невысоким качеством изображения.
2. Высокой скорости (High bitrate) для высокого разрешения, 64 кбит/с... 10 Мбит/с.
Используется в видеосвязи с высоким качеством,
для передачи тв-программ.

9.

2) Кодирование объектов сложной формы, основанное на
содержании (большее сжатие при учете свойств VO)
Пример:
VO - область, отличается яркостью/цветом,
перемещается и деформируется.
При предсказании с компенсацией движения смещаются не
прямоугольные МБ, а выделенные области, изменяющие форму.
Т.о. ошибка предсказания и объем информации
/разность изображений/- уменьшаются (на сх.-Пред.2)
Вместо векторов движения передаются изменения координат и
формы видеообъекта. (Кодер формы)
Данные о форме VO > объема данных о векторе движения.

10. Методы кодирования синтезированных изображений:

Синтетические изображения лица и тела м.б. использованы
вместо настоящих. Передача параметров модели требует
меньшей скорости.
Форма, текстура и
выражение лица
• в статике описываются параметрами
FDP (Facial Definition Parameters),
• в динамике - FAP (Facial Animation Parameters).
Статические FDP - передаются в начале сеанса связи. Для
воспроизведения мимики лица и движений тела передаются FAP

11.

Модель лица, (сетка из -ячеек,
заполненных текстурой).
2-мерные изображенияиз проекции 3-х мерной модели на
плоскость.
Иногда:
информацию об изменениях
«картинки» получают на основе
другой информации.
Пример:
Движения рта и мимика говорящего
м.б. синтезированы по звуку речи.
Метод уменьшает скорость передачи .
Пример:

12. Методы кодирования звука в MPEG-4

1. Кодирование музыки со средним и высоким качеством
(как в MPEG-2) - до 8 каналов звука при 16...64 кбит/с на канал.
2. Для речи со средним и высоким качеством - метод
CELP (Code Excited Linear Predictive) кодирование возбуждений с линейным предсказанием,
на 6...24 кбит/с при fд = (8 - 16)кГц.
3.Параметрическое кодирование речи- сжатие при сохранении
разборчивости до 2...4 кбит/с при fд = 8 кГц
Синтезированная речь и музыка (MIDI) - 0,2... 1, 2 кбит/с
При кодировании аудиообъектов - масштабируемость.
Пример:
- базовый - метод кодирования CELP
-дополнительный обеспечивает качество MPEG-2.

13.

В MPEG-4 обеспечивается
многоуровневая масштабируемость по:
- пространственному разрешению;
- времени;
- качеству изображения.
Предусмотрены средства, обеспечивающие работоспособность
системы передачи в/информации при наличии помех и ошибок.