Основы количественной теории информации. Лекция

1.

Основы количественной
теории информации
1

2.

1.Основные понятия и определения
теории информации
2

3.

3

4.

4

5.

Примерами непрерывных сигналов являются речь и музыка,
изображение, показания термометра (параметр сигнала – высота столба
спирта или ртути – имеет непрерывный характер значений), стрелочного
манометра и прочее.
5

6.

6

7.

Благодаря порядку между знаками устанавливаются бинарные отношения
«больше–меньше»
Количество знаков в алфавите называют мощностью алфавита.
Пример алфавита - совокупность арабских цифр 0,1…9 – с его помощью можно
записать любое целое число в системах счисления от двоичной до десятичной.
1. Если в этот алфавит добавить знаки «+» и «–», то им можно будет записать
любое целое число, как положительное, так и отрицательное.
2. Наконец, если добавить знак разделителя разрядов («.» или «,»), то такой
алфавит позволит записать любое вещественное число.
7

8.

1.Основные понятия и определения
теории информации
• Верность передачи информации – мера
соответствия принятого сообщения
переданному.
• Переработка информации – выполнение
формальных операций над входными
величинами, над параметрами сигнала в
соответствии с заданным алгоритмом.
• Хранение информации – фиксация
параметров носителя информации.
8

9.

1.Основные понятия и определения
теории информации
9

10.

2.Количество информации
10

11.

Первая количественная мера
информации – комбинаторная
• где m -мощностью алфавита.
• n - число элементов сообщения.
• Пример: Пусть требуется позвонить по городскому 6-значному номеру
или по внутреннему 4-значному номеру телефона.
• Если нужный номер телефона вам не известен, то в первом случае
неопределенность больше.
• Неопределенность относительно городского номера в 100 раз
(100=106 /104 ) больше, чем неопределенность по поводу внутреннего
номера телефона.
• Поэтому поступившее сообщение (номер нужного телефона) снимает
бόльшую неопределенность и, соответственно, несет в 100 раз
бόльшую информацию.
11

12.

Первая количественная мера
информации – комбинаторная
• Недостаток этой меры – неадитивность
(непропорциональность количества
информации и длины сообщения).
12

13.

Вторая количественная мера
информации – мера Р.Хартли
• С целью обеспечения аддитивности
Р.Хартли произвел логарифмирование,
вообще говоря, по произвольному
основанию правой части формулы
• сообщение должно иметь минимум один символ: nmin=1.
Алфавит языка должен иметь минимум два элемента:
mmin=2.
13

14.

• Недостаток меры Хартли (логарифмической
меры)состоит в том, что она не учитывает
вероятностный характер сообщения
(сообщение имеет смысл, когда оно
неизвестно заранее).
14

15.

Третья количественная мера
информации – мера К.Шеннона
• Если символ появляется в сообщении с
вероятностью 1 (на определенном месте), то такой
символ, очевидно, никакой информации не несет.
• В случае если все m символов алфавита
равновероятны, вероятность каждого символа
p=1/m. Количество информации, содержащееся в
сообщении из одного элемента определяется так:
15

16.

• Любое сообщение можно интерпретировать
как один символ соответствующего алфавита.
Количество информации не должно зависеть
от способа выбора алфавита. Соответственно,
вышеуказанную
формулу
можно
распространить на произвольные сообщения
(произвольных алфавитов и произвольной
длины), с учетом того, что под
• P будем понимать вероятность сообщения.
16

17.

Свойство аддитивности меры
Шеннона
• Допустим, поступило n независимых
сообщений (ансамбль сообщений): а1, а2,…аn.
• Совместная вероятность ансамбля
• P(a1, a2, …, an) = P(a1)·P(a2)·… ·P(an).
• Количество информации в этом ансамбле
равно:
• Таким образом, мы убедились, что мера
обладает свойством аддитивности.
17

18.

Количество информации для
равновероятных символов в
сообщении
18

19.

Количество информации для
неравновероятных независимых
символов в сообщении
С другой стороны, вероятность pi можно определить
апостериорно, как частоту появления символа ai . Если
сообщение достаточно длинное, то можно записать:
19

20.

20

21.

пример
21

22.

Количество информации в случае
неравновероятных зависимых
символов в сообщении
• В реальных условиях символы и отсчеты,
образующие сообщения, взаимосвязаны,
например:
• количество заглавных букв в тексте связано
с количеством точек;
22

23.

• При вычислении вероятности Р сообщения
надо использовать совместные вероятности
символов. Совместная вероятность
появления пары p(ai , aj)= pij.
23

24.

• Спасибо за внимание
24