2 Вероятностный подход

1.

Информатика в школе
www.klyaksa.net
Измерение информации:
вероятностный подход
Информация и информационные процессы

2.

www.klyaksa.net
Информация
Вопрос: «Как измерить информацию?»
очень непростой.
Ответ на него зависит от того, что понимать
под информацией. Но поскольку
определять информацию можно поразному, то и способы измерения тоже
могут быть разными.
ИНФОРМАЦИЯ
2

3.

www.klyaksa.net
Для человека
человека.
информация
—
это
знания
Получение новой информации приводит к
расширению знаний. Если некоторое сообщение
приводит к уменьшению неопределенности
нашего знания, то можно говорить, что такое
сообщение содержит информацию.
Отсюда
следует
вывод,
что
сообщение
информативно
(т.е.
содержит
ненулевую
информацию), если оно пополняет знания
человека.
Количество
информации
информативности.
зависит
от
3

4.

www.klyaksa.net
Информативность сообщения
Но для того чтобы сообщение было информативно оно должно еще
быть понятно.
Быть понятным, значит быть логически связанным с предыдущими
знаниями человека. Определение «значение определенного
интеграла
равно
разности
значений
первообразной
подынтегральной функции на верхнем и на нижнем
пределах», скорее всего, не пополнит знания 9-классника, т.к. оно
ему не понятно. Для того, чтобы понять данное определение,
нужно закончить изучение элементарной математики и знать
начала высшей.
Получение всяких знаний должно идти от простого к сложному. И тогда
каждое новое сообщение будет в то же время понятным, а значит,
будет нести информацию для человека.
Сообщение несет информацию для человека, если
содержащиеся в нем сведения являются для него
новыми и понятными.
4

5.

www.klyaksa.net
Единица измерения информации
Очевидно, различать лишь две ситуации: «нет информации» — «есть
информация» для измерения информации недостаточно. Нужна
единица измерения, тогда мы сможем определять, в каком
сообщении информации больше, в каком — меньше.
Единица измерения информации была определена в науке,
которая называется теорией информации. Эта единица
носит название «бит». Ее определение звучит так:
Сообщение,
уменьшающее
неопределенность
знаний в два раза, несет 1 бит информации.
Неопределенность знаний о некотором событии —
это
количество
возможных
результатов
события.
5

6.

Пример:
www.klyaksa.net
После сдачи зачета или выполнения контрольной работы
ученик мучается неопределенностью, он не знает, какую
оценку получил.
«Зачет», «незачет»?
«2», «3», «4» или «5»?
Наконец, учитель объявляет результаты, и вы получаете одно
из двух информационных сообщений: «зачет» или «незачет»,
а
после
контрольной
работы
одно
из
четырех
информационных сообщений: «2», «3», «4» или «5».
Информационное сообщение об оценке за зачет приводит к
уменьшению неопределенности знания в два раза, так как
получено одно из двух возможных информационных
сообщений. Информационное сообщение об оценке за
контрольную
работу
приводит
к
уменьшению
неопределенности знания в четыре раза, так как получено
одно из четырех возможных информационных сообщений.
6

7.

Пример:
www.klyaksa.net
На книжном стеллаже восемь
полок. Книга может быть
поставлена на любую из них.
Сколько
информации
содержит сообщение о том,
где находится книга?
Задаем вопросы:
- Книга лежит выше четвертой полки?
- Нет.
- Книга лежит ниже третьей полки?
- Да .
- Книга — на второй полке?
- Нет.
- Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность в два раза.
Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы
сразу было сказано, что книга лежит на первой полке, то этим сообщением были
бы переданы те же 3 бита информации.
7

8.

Формула вычисления кол-ва
информации
www.klyaksa.net
Если обозначить возможное количество событий,
или, другими словами, неопределенность знаний
N, а буквой I количество информации в
сообщении о том, что произошло одно из N
событий, то можно записать формулу:
2I = N
Количество информации, содержащееся в
сообщении о том, что произошло одно из N
равновероятных событий, определяется из
решения показательного уравнения: 2I = N.
8

9.

Задание 1:
www.klyaksa.net
Сколько информации содержит сообщение о
том, что из колоды карт достали король
пик (в колоде 32 карты)?
9

10.

www.klyaksa.net
Задание 1:
Сколько информации содержит сообщение о том,
что из колоды карт достали король пик?
Решение:
В колоде 32 карты. В перемешенной колоде выпадение
любой карты равновероятное событие.
N = 32. I - ?
2I = N
2I = 32
25 = 32
I = 5 бит
10

11.

Задание 2:
www.klyaksa.net
Сколько информации содержит сообщение о
выпадении грани с числом 3 на
шестигранном игральном кубике?
11

12.

www.klyaksa.net
Задание 2:
Сколько информации содержит сообщение о
выпадении грани с числом 3 на
шестигранном игральном кубике?
Решение:
N = 6. I - ?
2I = N
2I = 6
22 < 6 < 23
I = 2.5 бит
12

13.

Задание 3:
www.klyaksa.net
Сколько информации содержит сообщение о
том, что на поле 4х4 клетки одна из клеток
закрашена?
N=16
I-?
2I=N
2I=16
I=4 бит
(Самостоятельно) В книге 512 страниц.
Сколько информации несет сообщение о
том, что закладка лежит на какой-либо
странице?
13

14.

Задание 4
www.klyaksa.net
◼ Какое количество информации будет
получено при отгадывании числа из
интервала:
❑
❑
❑
от 1 до 64 (Самостоятельно)
от 1 до 20 (N=20, I-?, 2I=N, 2I=20, I=4,2бит)
От 1 до 61(Самостоятельно)
14

15.

Задание 5
www.klyaksa.net
◼ Какое количество информации будет
получено после первого хода в игре
«крестики-нолики» на поле:
❑
❑
3 х 3 (N=9, I-?, 2I=N, 2I=9, I=3,1бит)
4 х 4 (Самостоятельно)
15

16.

Задание 6
www.klyaksa.net
◼ Сколько могло произойти событий, если
при реализации одного из них получилось
6 бит информации?
16

17.

www.klyaksa.net
Неравновероятные события
N – общее число событий
17

18.

www.klyaksa.net
Задание 7
В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое
количество информации несет сообщение о том, что достали:
а) белый шар
N=20, K=15, I-?
p=K/N p=15/20=3/4
2I=1/p 2I=1/3/4
2I=4/3
2I=1,3
I=0,3 бит
б) красный шар(Самостоятельно).
18

19.

Задание 8
www.klyaksa.net
В коробке лежат кубики: 10 красных, 8
зеленых, 5 желтых, 12 синих. Вычислите
вероятность доставания кубика каждого
цвета и количество информации, которое
при этом будет получено.
19