Равномерное кодирование дискретных источников информации

1.

Теория информации
(направление подготовки – 09.03.04 Программная инженерия)

2.

Содержание
• Введение в теорию информации
• Равномерное кодирование дискретных источников
• Дискретные источники информации
• Измерение информации. Понятие собственной информации
• Понятие энтропии

3.

Введение в теорию информации
• Теория информации – раздел прикладной
математики, радиотехники (теория
обработки сигналов) и информатики,
относящийся к измерению количества
информации, её свойств и
устанавливающий предельные
соотношения для систем передачи данных
• Появление теории информации связывают
с публикацией в 1948 г. американским
математиком Клодом Шенноном работы
«Математическая теория связи».

4.

Введение в теорию информации
(продолжение)
Источник
информации
Кодер
источника
Кодер
канала
Модулятор
Среда
распространения
сигналов или
хранения
информации
Приёмник
информации
Декодер
источника
Декодер
канала
Демодулятор

5.

Введение в теорию информации
(продолжение)
• Источник информации – любое устройство (или объект живой
природы), порождающее сообщения, которые должны быть
перемещены в пространстве или во времени
• Кодер источника – устройство для представления информации в
наиболее компактной форме для того, чтобы максимально
эффективно использовать ресурсы канала связи или запоминающего
устройства
• Кодер канала – устройство для обработки информации с целью
защиты сообщений от помех при передаче по каналу связи либо от
возможных искажений при хранении информации
• Модулятор – устройство для преобразования сообщений,
формируемых кодером канала, в сигналы, согласованные с
физической природой канала связи или средой накопителя
информации

6.

Введение в теорию информации
(продолжение)
• Демодулятор – устройство для преобразования сигналов,
согласованных с физической природой канала связи или средой
накопителя, в сообщения, которые были сформированы кодером
канала
• Декодер канала – устройство для преобразования сообщений,
сформированных демодулятором, в сообщения, которые были
сформированы кодером источника
• Декодер источника – устройство для преобразования сообщений,
сформированных декодером канала, в сообщения, которые были
сформированы источником информации и которые способен
воспринять приёмник информации
• Приёмник информации – устройство или объект живой природы,
которому были адресованы сообщения, сформированные источником
информации

7.

Введение в теорию информации
(окончание)
• Разделы теории информации:
кодирование дискретных источников информации
кодирование информации для передачи по каналу связи с шумом
кодирование информации с заданным критерием качества
кодирование информации для многопользовательских систем
секретная связь и системы защиты информации от
несанкционированного доступа

8.

Дискретные источники информации
• Рассмотрим некоторое дискретное множество