Решение задач по теме: «Алфавитный и вероятностный подход к измерению информации»

1. РЕШЕНИЕ ЗАДАЧ ПО ТЕМЕ: «АЛФАВИТНЫЙ И ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ»

2.

Способ, не связывающий количество информации с
содержанием сообщения, называется алфавитным
подходом.
все символы кодируются одинаковым числом бит
• чаще всего используют кодировки, в которых на
символ отводится 8 бит (8-битные) или 16 бит (16битные)
• при измерении количества информации принимается,
что в одном байте 8 бит, а в одном килобайте (1 кбайт) –
1024 байта, в мегабайте (1Мбайт) – 1024 кбайта
• чтобы найти информационный объем текста I, нужно
умножить количество символов N на число бит на
символ K:
I=N*K

3.

Все множество используемых в языке символов будем
традиционно называть алфавитом.
Обычно под алфавитом понимают только буквы, но
поскольку в тексте могут встречаться знаки
препинания, цифры, скобки, то мы их тоже включим
в алфавит. В алфавит также следует включить и
пробел, т.е. пропуск между словами.
Полное количество символов алфавита принято
называть мощностью алфавита.
Будем обозначать эту величину буквой N. Например,
мощность алфавита из заглавных русских букв и
отмеченных дополнительных символов равна 54.
АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЬЪЭЮЯ01
23456789().,!?«»:-; (пробел)

4.

Количество информации, содержащееся в
символьном сообщении, равно К х i, где К – число
символов в тексте сообщения а i –
информационный вес символа, который находится
из уравнения 2i = N, где N – мощность
используемого алфавита.
Пусть небольшая книжка, сделанная с
помощью компьютера, содержит 150
страниц; на каждой странице — 40 строк, в
каждой строке — 60 символов. Значит
страница содержит 40x60=2400 байт
информации. Объем всей информации в
книге: 2400 х 150 = 360 000 байт.

5.

• Определите информационный объем
страницы книги, если для записи текста
использовались только заглавные буквы
русского алфавита, кроме буквы Ё.
Решение:
1.N = 32
2.2I = N
3.2I = 32
4.I = 5
5.На странице 3000 знаков, тогда объем
информации = 3000 * 5 = 15000 бит.

6. Задача 1

Считая, что каждый символ кодируется 1
байтом, определите информационный
объем (в битах) пушкинской фразы:
Привычка свыше нам дана: замена
счастью она.
1. 44 байта
3. 82 байта
2. 320 бит
4. 352 бит

7.

Решение:
1) В этом тексте 44 символа (обязательно считать пробелы и
знаки препинания)
2) Если нет дополнительной информации, считаем, что
используется 8-битная кодировка (чаще всего явно указано,
что кодировка 8- или 16-битная)
3) Поэтому в сообщении 44*8 = 352 бита
информации (ответ 352 бита).
4) При выборе правильного ответа указано правильное
число, но другие единицы измерения (объем текста 352
бита, а один из неверных ответов – 44 байта)
Ответ: 4. 352 бит

8.

Задача 2
Алфавит племени содержит всего 8 букв. Какое
количество информации несет одна буква этого
алфавита?
1. 8 бит
3. 3 бита
2. 1 байт
4. 2 бита
Решение.
Мощность алфавита племени – 8 букв. Применим
формулу 2I = N, где N – мощность алфавита, I –
количество бит на один символ алфавита. 2I =8,
I=3 бит, что соответствует варианту ответа №3.
Ответ: 3. 3 бита

9.

Задача 3
Если вариант теста в среднем имеет объем 20 килобайт (на
каждой странице теста 40 строк по 64 символа в строке, 1
символ занимает 8 бит), то количество страниц в тесте
равно:
1. 10 стр.
3.
4 стр.
2. 16 стр.
4.
8 стр.
Решение.
Известен информационный объем теста и
информационный «вес» одного символа в нем. Найдем
объем одной страницы: 40*64*8 бит. 20 Кбайт = 20*1024
байт = 20*1024*8 бит. Найдем количество страниц:
20*1024*8/(40*64*8) = 8 (стр.)
Ответ: 4.
8 стр.

10. РЕШИ САМ:

Считая, что каждый символ кодируется одним
байтом, определите, чему равен
информационный объем следующего
высказывания Алексея Толстого:
Не ошибается тот, кто ничего не делает, хотя
это и есть его основная ошибка.

11. Вероятностный подход к измерению информации.

За единицу измерения информации принимается 1 бит - такое количество
информации, которое содержит сообщение, уменьшающее
неопределенность знаний в два раза.
Рассмотрим на примере. Мы бросаем монету и пытаемся угадать,
какой стороной она упадет на поверхность. Возможен один результат
из двух: монета окажется в положении «орел» или «решка». Каждое из
этих двух событий окажется равновероятным, т. е. ни одно из них не
имеет преимуществ перед другим. Перед броском существует
неопределенность нашего знания (возможно одно событие из двух).
После броска наступает полная определенность знаний, т.к. из двух
равновероятных событий произошло одно.
Количество информации (I), содержащееся в сообщении о том, что
произошло одно из N равновероятных событий, определяется из
решения уравнения:
2I =N
I = log2N

12.

Количество информации (I), содержащееся в
сообщении о том, что произошло одно из N
равновероятных событий, определяется из
решения уравнения:
I = log2(1/р),
где р – вероятность события, выражается в
долях единицы.
р=К/ N, где К – величина, показывающая,
сколько раз произошло интересующее нас
событие.

13.

Задача 4
«Вы выходите на следующей остановке?» - спросили
человека в автобусе. «Нет», - ответил он. Сколько
информации содержит ответ?
Решение:
человек мог ответить только «Да» или «Нет», т.е.
выбрать один ответ из двух возможных. Поэтому
N=2. Значит I=1бит (2=2I).
Ответ: 1бит.

14.

Задача 5
Группа школьников пришла в бассейн, в
котором 4 дорожки для плавания. Тренер
сообщил, что группа будет плавать на
дорожке номер 3. Сколько информации
получили школьники из этого сообщения?
Решение.
Из 4 дорожек необходимо выбрать одну, т.е.
N=4. Значит по формулеI=2, т.к.4=22

15.

Задача 6
В коробке лежат 16 кубиков. Все кубики
разного цвета. Сколько информации несет
сообщение о том, что из коробки достали
красный кубик?
Решение.
Из 16 равновероятных событий нужно
выбрать одно. Поэтому N=16, следовательно,
I=4 (16=24)
Ответ: 4 бита.

16. РЕШИ САМ:

В мешке находится 20 шаров. Из
них 15 белых и 5 красных.
Какое количество информации
несёт сообщение о том, что
достали: а) белый шар; б)
красный шар.

17. РЕШИ САМ: Ответы

1.608 бит
2.Решение:
1. Найдем вероятность того, что достали белый шар:
рБ=15/20=0,75;
2. Найдем вероятность того, что достали красный шар: рК
=5/20=0,25;
3. Найдем количество информации в сообщении о
вытаскивании белого шара:
IБ=log(1/рБ)=log(1/0,75)=log21,3=1,15470 бит
4. Найдем количество информации в сообщении о
вытаскивании красного шара:
IК=log(1/рК)=log(1/0,25)=log2 4=2 бит
Ответ: а) IБ=1,15470 бит;
б) IК=2 бит