Элементы теории информации

1.

ЭЛЕМЕНТЫ
ТЕОРИИ
ИНФОРМАЦИИ

2.

Информация (от лат. informatio - разъяснение,
осведомление) - это один из широко используемых на
сегодня терминов, которые употребляет человек в
процессе деятельности.
Информация – основное понятие кибернетики –
совокупность сведений о всевозможных событиях.
Информация – это сообщение о явлениях, процессах,
предметах привносящие новые знания об этих
явлениях, процессах, предметах.

3.

Свойства информации:
OНовизна.
OВостребованость.
OДоступность.

4.

ОСНОВНЫЕ ПОНЯТИЯ
ТЕОРИИ ИНФОРМАЦИИ
информация;
O сигнал;
O сообщение;
O количество информации;
O энтропия;
O кодирование;
O пропускная
O способность канала связи.
O

5.

Информационная энтропия.
Шеннон дал следующее определение информации:
"Информация, содержащаяся в сообщении, есть
мера того количества неопределенности, которое
ликвидируется после получения данного
сообщения».
Информационная энтропия – мера неопределенности,
зависящая от числа состояний в которых может
находиться система.
Количество информации равно разности энтропий
системы до получения сообщения (Нн) и после
получения сообщения (Нк):
I= Нн- Нк

6.

При определении количества информации,
содержащегося в каком-либо сообщении, явлении и
т.п., необходимо определить о какой системе идет речь.
Виды систем
РАВНОВЕРОЯТНЫЕ
НЕ РАВНОВЕРОЯТНЫЕ
это система, которая это система, которая
может находиться в может находиться в
одном
из
n- одном
из
n-не
равновероятных
равновероятных
состояний
состояний

7.

Равновероятные системы
Формула Хартли:
I = k•logn = - k•logP = - k•log1/n

8.

Не равновероятные системы
Если же состояния системы не равновероятны, то для
определения
ее
информационной
энтропии
необходимо применить формулу Шеннона :

9.

Единицы измерения информации
Бит – это количество информации,
заключенное в сообщение о том, что
произошло одно из двух
равновероятных событий.

10.

ОБЩАЯ СХЕМА. СХЕМА ПЕРЕДАЧИ И
РЕГИСТРАЦИИ ИНФОРМАЦИИ.
С помощью сигналов информация переносится в пространстве и
сохраняется во времени. Сигналы поступают из источника
сообщений. Передаются в виде кодов.
Код – условный язык для более удобного представления
информации. Преобразование сообщение в символы коды
называется кодированием (устройство кодер). Преобразование
кодов в сообщение – декодированием (устройство декодер).
Сигнал – материальный носитель информации.
Обмен сигналами – передача информации.

11.

Наиболее важной характеристикой
устройств для передачи информации
является пропускная способность
канала связи С:
C = H/t

12.

Основные свойства логарифмов

13.

Примеры решения задач
Задача 1. Определите количество информации,
заключенном в сообщении, состоящем из 3 символов,
если весь алфавит сообщений содержит 32 символа.

14.

Задача № 2. Найдите информационную
энтропию системы, вероятность нахождения,
которой в одном из равновероятных
состояний, равна 0,125.

15.

Задача № 3. Найдите информационную энтропию системы,
которая может находиться в одном из двух состояний,
вероятности которых соответственно равны: Р1 = 0,75 и Р2 =
0,25, если логарифм 0,75 по основанию 2 равен –0,42.

16.

Задача № 4. Найдите информационную энтропию
произвольного пятизначного числа, если логарифм 9-ти по
основанию 2 равен 3,17, а логарифм 10-ти по основанию 2
равен 3,32.

17.

Задача № 5. В полученном сообщении, состоящем из 5-ти символов,
содержится 30 бит информации. Из какого количества символов
состоит алфавит, при помощи которого было передано сообщение.

18.

Задача № 6. Найдите количество символов в сообщении, в
котором содержится 66 бит информации, если весь алфавит
сообщений содержит 64 символа.

19.

Задача № 7.Определите пропускную способность канала связи,
если при передаче информации в течение 16 секунд было
передано 6400 бит информации.
Задача № 8. Найдите количество информации, которое было
передано по каналу связи за 5 с при его пропускной
способности 800 бит/с.

20.

Задача № 9. В течение какого времени осуществлялась передача
информации, если при пропускной способности канала связи 5
бит/с было передано 1200 бит информации?

21.

Задачи для контроля
1.
Определите
характеристики
энтропию
данного
вида
двумерной
растения,
которое может иметь один из 8 видов цветов
и одну из 4 форм листа.

22.

2. Определите количество информации, которое
получит экспериментатор-дальтоник,
воспринимающий красный и зеленый цвет как один
при однократном изъятии шарика из урны. В урне
находится 25 черных, 25 красных, 25 зеленых и 25
белых шаров.