Измерение информации

1. Измерение информации

2. Алфавитный подход

3. Алфавитный подход

Алфавитный подход позволяет
измерять информацию на
некотором языке (естественном
или формальном).
Алфавитный подход не связан с
содержанием текста.

4. Алфавитный подход

Мощность алфавита - полное число
символов в алфавите.
Например: мощность алфавита русских
букв и используемых символов равна
54:
33 буквы + 10 цифр + 11 знаков
препинания, скобки, пробел.

5. Алфавитный подход

Наименьшую мощность имеет
алфавит, используемый в компьютере
(машинный язык), его называют
двоичным алфавитом, т.к. он содержит
только два знака «0», «1».
Информационный вес символа двоичного
алфавита принят за единицу измерения
информации и называется 1 бит.

6. Алфавитный подход

Пример:
Информация, записанная
на машинном языке,
весит:
01110
5 бит
010010
6 бит
010
3 бита
0111111011110
13 бит

7. Алфавитный подход

При алфавитном подходе считают, что
каждый символ текста, имеет информационный вес.
Информационный вес символа зависит
от мощности алфавита.
С увеличением мощности алфавита, увеличивается информационный вес
символа.

8. Алфавитный подход

Информационный вес каждого символа,
выраженный в битах (i), и мощность
алфавита (N) связаны между собой
формулой: N = 2i
Пример: N = 4, i = 2
Символ
Код
символа
A
B
C
D
00
01
10
11

9. Алфавитный подход

Если N не равно двойке в целой степени,
то находится ближайшее к N целое число
M = 2b (b – целое число), M > N, и из
этого равенства определяется b –
информационный вес символа
Например, если N = 12, то M = 16 = 24

10. Алфавитный подход

Алфавит из которого составляется на
компьютере текст (документ) состоит из 256
символов.
Этот алфавит содержит символы: строчные и
прописные латинские и русские буквы, цифры,
знаки арифметических операций,
всевозможные скобки, знаки препинания…

11. Алфавитный подход

Из формулы N = 2i следует 256 = 28
Значит, каждый символ алфавита используемого
в компьютере для печати документов весит
8 бит.
Эту величину приняли так же за единицу
измерения информации и дали название байт.
8 бит = 1 байт

12. Алфавитный подход

1 килобайт = 1 Кб = 210 байт = 1024 байт
1 мегабайт = 1 Мб = 210 Кб = 1024 Кб
1 гигабайт = 1 Гб = 210 Мб = 1024 Мб
1 терабайт = 1 Тб = 210 Гб = 1024 Гб

13. Алфавитный подход

N=2i
N – мощность алфавита;
i - количество бит, которое несет каждый символ
I=i*k
k – количество символов в сообщении;
I - общий информационный объем всего сообщения

14. Содержательный подход

15. Содержательный подход

При содержательном подходе
количество информации связано с
содержанием (смыслом)
полученного человеком
сообщения.

16. Содержательный подход

Пусть у нас
Имеется
монета,
которую мы
бросаем на
ровную
поверхность.
Возможные
Произошедшее
события
событие
Какое количество информации
несёт сообщение о событии:
«Выпал «орёл»»?

17. Содержательный подход

Клод Элвуд Шеннон (1916 –
2001) – американский учёный,
основатель теории информации.
Согласно Шеннону, информация
– это снятая неопределённость
знания человека об исходе
какого-то события.

18. Содержательный подход

Клод Элвуд Шеннон (1916 –
2001) – американский учёный,
основатель теории информации.
Сообщение, уменьшающее
неопределённость знания об
исходе некоторого события в два
раза, несёт 1 бит информации.

19. Содержательный подход

Сообщение
несёт 1 бит
информации
Возможные
Произошедшее
события
событие
С равной вероятностью произойдет одно из
двух возможных событий – монета
окажется в одном из двух положений:
«орёл» или «решка».

20.

Содержательный подход
Пример 1.
Ученик написал контрольную и спрашивает у учителя о
полученной оценке. Оценка может оказаться любой от 2
до 5. На что учитель предложил угадать оценку за два
вопроса, ответом на которые может быть только «да» и
«нет».
Первоначальные варианты
2
3
4
5
Варианты после 1-го вопроса
(1 бит)
4
5
Варианты после 2-го вопроса
(+1 бит)
4

21.

Содержательный подход
Пример 2.
Вы едете в поезде, в котором 8 вагонов, а
на вокзала вас встречает товарищ.
Товарищ позвонил вам по мобильному
телефону и спросил, в каком вагоне вы
едете. Вы предлагаете угадать номер
вагона за наименьшее количество
вопросов, ответом на которые может быть
только «да» и «нет».

22.

Содержательный подход
Первоначальные варианты
1
2
3
4
5
6
7
8
Варианты после 1-го
вопроса
(1 бит)
5
6
7
8
Варианты после 2-го
вопроса
(+1 бит)
5
6
Варианты после 3-го
вопроса
(+1 бит)
5

23.

Содержательный подход
Обозначим:
N – количество возможных исходов
i – количество информации в сообщении об одном из N
исходов
В примере с монетой: N = 2, i = 1 бит
В примере с оценкой: N = 4, i = 2 бита
В примере с вагоном: N = 8, i = 3 бит
Связь между этими величинами выражается следующей
формулой:
N = 2i

24.

Содержательный подход
Формула Хартли:
i = log2N
Табличном процессоре Microsoft Excel
функция логарифма имеет следующий
вид:

25. Решение задач

Задача: В рулетке общее количество лунок равно 128. Какое
количество информации мы получим в зрительном сообщении
об остановке шарика в одной из лунок.
Дано:
N = 128
Решение:
2i = N
2i = 128
i-?
27 = 128
i = 7 бит
Ответ: i = 7 бит

26. Решение задач

Задача:
В коробке 32 карандаша, все
карандаши разного цвета.
Наугад вытащили красный.
Какое количество
информации при этом было
получено?
Решение.
Так как вытаскивание карандаша любого цвета из
имеющихся в коробке 32 карандашей является
равновероятным, то число возможных событий равно
32.
N = 32, i = ?
N = 2i, 32 = 25, i = 5 бит.
Ответ: 5 бит.

27.

Домашнее задание:
Изучить § 3, 4, изучить
конспект
Выучить определения
Повторить § 2