Измерение количества информации

1.

Для учащихся 10 класса.

2.

1)алфавитный (т.е. количество информации
зависит от последовательности знаков);
2)содержательный или вероятностный
(т.е. количество информации зависит от ее
содержания).

3.

Орел
Монета упала на
поверхность
земли той
стороной вверх,
на которой
изображен орел
Однако при хранении и передаче информации с помощью
технических устройств целесообразно отвлечься от содержания
информации и рассматривать ее как последовательность знаков (букв,
цифр, кодов цветов точек изображения и т.д.).

4.

Множество используемых в тексте символов называется алфавитом.
У алфавита есть размер (полное количество его символов), который
называется мощностью алфавита.
Набор символов знаковой системы (алфавит) можно рассматривать как
различные возможные состояния (события). Тогда, если считать, что
появление символов в сообщении равновероятно, по формуле (2.1) N 2 I
можно рассчитать, какое количество информации несет каждый символ.
Так, в русском алфавите, если не использовать букву ё, количество
I
событий (букв) будет равно 32. Тогда: 32 2 , откуда I = 5 битов.
Каждый символ несет 5 битов информации (его информационная емкость
равна 5 битов). Количество информации в сообщении можно подсчитать,
умножив количество информации, которое несет 1 символ, на количество
символов: V k I (1)

5.

Существует множество ситуаций, когда возможные события имеют
различные вероятности реализации.
Например:
1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более
вероятно летом, а сообщение о снеге – зимой.
2. Если вы – лучший ученик в классе, то вероятность сообщения о том, что за
контрольную работу вы получили 5, больше, чем вероятность получения двойки.
3. Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте
утку больше, чем вероятность подстрелить гуся.
4. Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный
шар меньше, чем вероятность вытаскивания белого.
5. Если монета несимметрична (одна сторона тяжелее другой), то при ее бросании
вероятности выпадения «орла» и «решки» будут различаться.

6.

Клод Элвуд Шеннон
– один
из создателей
математической теории
информации.
Родился в 1916 г.

7.

Американский инженер и математик Клод Элвуд
Шеннон в 1948 г. предложил формулу для
вычисления количества информации в случае
различных вероятностей событий:
N
I ( p1 log 2 p1 p2 log 2 p2 p N log 2 p N ) pi log 2 pi
(2)
i 1
где I - количество информации;
N - количество возможных событий;
pi - вероятность i-го события.
(3)
k k - количество конкретных событий, т.е.
pi , величина, показывающая, сколько раз
N произошло интересующее нас событие.
Знак минус в формуле Шеннона не означает, что количество информации в
сообщении – отрицательная величина. Объясняется это тем, что вероятность р,
согласно определению, меньше единицы, но больше нуля. Так как логарифм числа,
меньшего единицы, т.е. log pi – величина отрицательная, то произведение
вероятности на логарифм числа будет положительным.

8.

пусть при бросании несимметричной 4-хгранной
пирамидки вероятности отдельных событий будут равны:
p1
1
,
2
1
p2 ,
4
1
p3 ,
8
p4
1
.
8
Тогда
1
1 1
1 1
1 1 1 1 1 14
I ( log 2 log 2 log ) ( ) 1,75 бита
2
2 4
4 8
2 4 8 8 8
28
Этот подход к определению количества
информации называется вероятностным.

9.

Если p1 p2 pN , следовательно исходы
равновероятны, то вероятность каждого исхода – это
1
1
число
, то
p
N
i
N
N
I
i 1
1
1
log 2 log 2 N
N
N
(4)
формула Хартли
(американский инженер –
связист) - предложена в
1928 г.

10.

Определим количество информации, которое мы получим при
бросании симметричной и однородной 4-хгранной пирамидки:
I log 2 4 2 бита
Таким образом, при бросании симметричной пирамидки, когда
события равновероятны, получим большее количество информации
(2 бита), чем при бросании несимметричной (1,75 бита), когда
события неравновероятны.

11.

Ясно, что ликвидировать неопределенность – это и значит
получить информацию. Следовательно, формула (1) показывает, какое
количество информации можно получить для любой конкретной системы.
Или: формула (1) показывает, каким количеством информации нужно
располагать, чтобы полностью снять неопределенность.
Итак, если информация понимается как отражение разнообразия,
то мерой для ее количества выступает мера неопределенности, которой
обладает рассматриваемая в этот момент ситуация. Описывая
неопределенность на языке вероятностей, мы приходим к формуле
Шеннона.
Вероятностный подход к измерению информации для
конкретного события: I log 2 1 (5)
N
Количество информации, которое мы получаем,
достигает максимального значения, если
события равновероятны.

12.

Какие существуют два подхода к измерению информации?
Что такое алфавит?
Какой величиной характеризуется алфавит?
Каким образом можно подсчитать количество информации в сообщении?
Одинаковую ли вероятность реализации имеют события?
Приведите примеры событий с одинаковой вероятностью, с разной
вероятностью.
Как определить количество информации при равновероятных событиях?
Как определить количество информации при неравновероятных
событиях?
По какой формуле вычисляется вероятность?
Как при вероятностном подходе можно измерить информацию для
конкретного события?

13.

1. Вероятность первого события составляет 0,5, а
второго и третьего – 0,25. Какое количество
информации мы получим после реализации одного
из них?
2. В мешке находятся 20 шаров. Из них 15 белых и 5
красных. Какое количество информации несет
сообщение о том, что достали: а) белый шар; б)
красный шар. Сравните ответы.
3. В коробке лежат кубики: 10 красных, 8 зеленых, 5
желтых, 12 синих. Вычислите вероятность
доставания кубика каждого цвета и количество
информации, которое при этом будет получено.

14.

§ 2.3, 2.4,
№ 2.5 (с. 82),
Задача. Мощность некоторого алфавита
равна 64 символам. Каким будет объем
информации в тексте, состоящем из 100
символов.