Основы теории информации. Понятие информации

1. Основы теории информации

1. Понятие информации
2. Представление информации (форма)
3. Свойства информации
4. Измерение количества информации

2. Информация – это …

Информация (от лат. Informatiо) – разъяснение,
изложение, сведения
Информация (в философии) – это отражение
реального мира с помощью сведений, которые
человек получает с помощью органов чувств
(зрения, слуха, вкуса, обоняния, осязания)
Информация (в широком смысле) – это
общенаучное понятие, включающее в себя обмен
сведениями между людьми, обмен сигналами
между живой и неживой природой, людьми и
устройствами, между устройствами без участия
человека.
2

3.

"Информация – сведения об объектах и явлениях
окружающей среды, их параметрах, свойствах и
состоянии, которые уменьшают имеющуюся о них
степень неопределенности, неполноты знаний".
Сообщение – это форма представления
информации для ее последующей передачи в
одном из следующих видов:
3

4. Виды представления информации

числовая форма, представленная цифрами;
текстовая форма, представленная текстами,
составленными из символов того или иного языка;
кодовая форма, представленная кодами;
графическая форма, представляющая
изображения объектов(рисунки, картины,
чертежи, фото, схемы, карты);
акустическая форма, представленная звуковыми
сигналами;
видеоформа, представляющая телепередачи,
видео и кинофильмы в специальном формате.
тактильная информация (осязание)
вкус
запах
4

5.

• При работе с информацией всегда имеются
источник и потребитель информации. При этом
необходимо различать термины «информация»
и «данные».
• Данные – это информация, представленная в
некоторой форме (формализованном виде), что
обеспечивает ее хранение, обработку и
передачу.
5

6. Концепции информации

1. Количественно-информационный подход ( Клод
Шеннон), определяет информацию как меру
неопределенности (энтропию) события
• Информация - это снятая неопределенность, или
результат выбора из набора возможных альтернатив
6

7.

2. Информация как свойство материи
создает представление о ее природе и структуре,
упорядоченности и разнообразии.
Она не может существовать вне материи, а значит, она
существовала и будет существовать вечно, ее можно
накапливать, хранить и перерабатывать
7

8.

3. Логико -семантический подход
информация трактуется как знание, причем не любое
знание, а та его часть, которая используется для
ориентировки, для активного действия, для управления и
самоуправления.
Информация - это действующая, полезная часть знаний
8

9. Свойства информации

•атрибутивные;
•прагматические;
•динамические
9

10. Атрибутивные свойства информации

объективны, т.е. не зависят от человека, его воли и
желаний и отражают ее языковую природу и связанность с
материальным носителем.
Дискретность – свойство передаваться, храниться и
использоваться по частям;
Непрерывность – свойство информации развиваться и
накапливаться в структуре материальных носителей;
Избыточность информации – свойство многократно
дублироваться в структуре материальных носителей;
Рассеяние – свойство, способствующее хаотичному,
неконтролируемому распространению информации во
времени и пространстве, вследствие чего затрудняется
ее использование. Данное свойство отражает
стремление информации расширять сферу своего
влияния.
10

11. Прагматические свойства информации

характеризуют степень полезности информации для
пользователя, потребителя и практики.
Смысла и новизна –прагматические свойства
информации проявляются в процессе использования
информации. В первую очередь к данной категории
свойств отнесем наличие смысла и новизны
информации, которое характеризует перемещение
информации в социальных коммуникациях и выделяет
ту ее часть, которая нова для потребителя.
Полезность – свойство информации, показывающее в
какой степени она снимает неопределенность в
интересующей человека области.
Ценность – свойство информации отражающее
важность информации для конкретного пользователя
11

12. Динамические свойства информации

характеризуют изменение информации во времени.
Рост информации – способность к многократному
повторению и распространению. Причем язык копии
или ее носитель может отличаться от языка или типа
носителя оригинала. Это свойство информации
реализуется в процессах копирования, передачи,
переводе с одного языка на другой и переносе на
другие носители.
Старение – свойство информации связанное с потерей
ценности с течением времени.
Старение может быть физическим – износ носителя и
моральным – потеря актуальности информации.
12

13. Адекватность информации и ее формы

Адекватность информации – это уровень соответствия
образа, созданного на основе полученной информации,
реальному объекту или явлению.
Адекватность информации выражается в трех формах:
синтаксическая адекватность – отображает соответствие
структуры информации и не затрагивает ее смыслового
содержания. Информацию, рассматриваемую с
синтаксических позиций, называют данными;
семантическая (смысловая) адекватность – определяет
степень соответствия образа объекта и самого объекта.
Учитывается только смысловое содержание информации
прагматическая (аксиологическая, потребительская)
адекватность – отражает ценность, полезность информации
для достижения цели.
13

14. Показатели качества информации

Актуальность – показывает возможность применения информации
для принятия решений в данный момент времени
Достоверность – качественная характеристика информации,
показывающая точность соответствия информации исходному объекту
Доступность – свойство информации, показывающее возможность ее
получения в случае необходимости данным потребителем
Защищенность – свойство, характеризующее невозможность
несанкционированного использования или изменения информации
Полнота – свойство информации, показывающее достаточность
данных для принятия решений или создания новых данных
Репрезентативность информации связана с правильностью ее
отбора и формирования в целях адекватного отражения свойств
объекта
Устойчивость информации отражает ее способность реагировать на
изменения исходных данных без нарушения необходимой точности
Эргономичность – свойство, характеризующее удобство формы или
объема информации с точки зрения данного потребителя
14

15.

Измерение количества
информации
15

16.

Количество информации – это числовая характеристика
информации, показывающая степень снимаемой ей
неопределенности.
В вычислительной технике в качестве единицы измерения
информации используют бит.
1 бит (binary digit, двоичная цифра) – это количество
информации, которое мы получаем при выборе одного
из двух возможных вариантов (вопрос: «Да» или «Нет»?)
Примеры:
Эта стена – зеленая? Да.
Дверь открыта? Нет.
Сегодня выходной? Нет.
1 байт (bytе) – это объем компьютерной памяти, который
имеет индивидуальный адрес.
1 байт = 8 бит
16

17.

Название единицы
измерения
Килобайт (Кбайт)
Мегабайт (Мбайт)
Гигабайт (Гбайт)
Терабайт (Тбайт)
Петабайт (Пбайт)
Эксабайт (Эбайт)
Зеттабайт (Збайт)
Йоттабайт (Йбайт)
Численная
Точное количество байтов
величина в байтах
210
1024 байт
1024 килобайт
220
1 048 576 байт
1024 мегабайт
230
1 073 741 824 байт
1024 гигабайт
240
1 099 511 627 776 байт
1024 терабайт
250
1 125 899 906 842 624 байт
1024 петабайт
260
1 152 921 504 606 846 976 ба
йт
1024 эксабайт
270
1 180 591 620 717 411 303 42
4 байт
1024 зеттабайт
280
1208925819614629174706176
байт
17

18. Вероятностный подход

Вероятность события – число от 0 до 1, показывающее,
как часто случается событие при большой серии
одинаковых опытов.
p=0
событие никогда не происходит
(нет неопределенности)
p = 0,5 событие происходит в половине
случаев (есть неопределенность)
p=1
событие происходит всегда
(нет неопределенности)
Полная система событий: одно из N событий
обязательно произойдет (и только одно!).
pi – вероятность выбора i-ого варианта (i=1,…,N)
0 pi 1, p1 p2 pN 1
18

19. Вероятностный подход

19

20. Формула Хартли (1928)

I log 2 N
I – количество информации в битах
N – количество вариантов
Пример:
В аэропорту стоит 6 самолетов, из них один
летит в Москву. Сколько информации в
сообщении «В Москву летит второй самолет»?
ln 6 lg 6
I log 2 6
2,585 бит
ln 2 lg 2
20

21.

21

22.

Вычисление вероятности
Задача. В пруду живут 100 рыб, из них 20
карасей, 30 пескарей, а остальные – окуни.
Какова вероятность поймать карася (пескаря,
окуня), если все рыбы одинаково голодны?
Формула:
ni
pi
N
число «нужных» событий
общее число событий
Решение:
n1 20
0,2
N 100
p3 1 p1 p2 0,5
n2 30
0,3
пескари p2
N 100
n3 (100 20 30) 50
0,5
окуни p3
N
100
100
караси
p1
22

23. Как посчитать информацию, если варианты не равновероятны?

I i log 2 pi log 2
0 pi 1
1
pi
– вероятность выбора i-ого варианта (i=1,…,N)
23

24. Вероятностный подход

Задача 1. В пруду живут 100 рыб, из них 20
карасей, 30 пескарей, а остальные – окуни.
Сколько информации несет сообщение о
том, что рыбак поймал карася (пескаря,
окуня), если все рыбы одинаково голодны?
Формула:
1
I i log 2 pi log 2
pi
Решение:
20
0,2
100
30
0,3
пескарь p2
100
50
p
0,5
окунь
3
100
карась
p1
I1 log 2 0,2 log 2 5 2,32 бита
I 2 log 2 0,3 log 2 3,33 1,74 бита
I 3 log 2 0,5 log 2 2 1 бит
24

25.

25

26.

26

27.

Задача. В коробке имеется 100 шаров. Из них 80 белых и 20
черных. Очевидно, вероятность того, что при вытаскивании
случайным образом попадется белый шар, больше, чем
вероятность попадания черного. Проведем количественную
оценку вероятности для каждой ситуации.
Решение.
pч – вероятность, что вытащили черный шар, рб – вероятность, что
вытащили белый шар.
рч = 20/100 = 0,2, рб = 80/100 = 0,8.
Количество информации в сообщении, что вынутый случайным
образом шар является черным, вычисляется по формуле
Iч = –log2(0,2) = 2,321928 бит.
Количество информации в сообщении, что вынутый случайным
образом шар является белым, вычисляется по формуле
Iб = –log2(0,8) = 0,321928 бит.
Количество информации в сообщении о цвете вынутого
случайным образом шара вычисляется по формуле
–0,2 log2(0,2) – 0,8 log2(0,8) = 0,2 · 2,321928 + 0,8 · 0,321928 =
0,721928 бит.
27

28. Алфавитный (объемный) подход

28

29.

Мощность алфавита можно вычислить по формуле
N = 2i
В алфавите, который состоит из двух символов (двоичное
кодирование), каждый символ несет 1 бит (log22 = 1) информации;
из четырех символов – каждый символ несет 2 бита информации
(log24 = 2); из восьми символов – 3 бита (log28=3) и т. д. Один
символ из алфавита мощностью 256 несет в тексте 8 битов (log2256
= 8) информации.
Если текст состоит из k символов, то при алфавитном подходе
размер содержащейся в нем информации I (вес текста, или
изображения, или аудио файла) определяется по формуле:
I = k*i
k – количество символов,
i – вес одного символа.
Максимальное количество слов L из m букв, которое можно
составить из алфавита мощностью N, определяется по формуле
L = Nm
29

30.

Задача. В сообщениях используются только первые шесть букв
латинского алфавита: A, B, C, D, E, F. Сколько байт необходимо для
хранения сообщения «AABBCCD»?
Решение. Определим, сколько бит необходимо для хранения
одной буквы по формуле Хартли:
iБ =log26 =2,58.
Результат округлим в большую сторону, следовательно:
iБ =3 бита
Для сообщения, состоящего из k= 7 букв, необходимо
IС = k *iБ =7*3= 21 бит=2,625 байт.
Результат вновь округлим в большую сторону: IС =3
байта.
30

31.

Задача. В лексиконе Эллочки-Людоедки, как известно, было 30
слов. Она произносит фразу, состоящую из 50 слов. В этом случае
количество информации, которое сообщает Эллочка, составляет
______ бит.
Считать, что выбор любого из 30 слов равновероятен.
Решение:
Чтобы закодировать каждое из 30 слов, нужно 5 бит.
Это вычисляется по формуле 2i>=N, где
N - количество всех символов (в нашем случае - слов)
i - информационный вес одного символа (бит)
25=32>30
Фраза Эллочки состоит из 50 слов, значит её объём равен:
50 * 5 бит = 250 бит
Ответ: 250 бит
31

32. Кодирование графической информации

Графические данные хранятся и обрабатываются в двоичном коде.
При растровом способе представления графических данных под
каждый пиксель отводится определенное число битов,
называемое битовой глубиной или информационной емкостью
одного пикселя и используемое для кодирования цвета пикселя.
• Каждому цвету соответствует двоичный код. Например, если
битовая глубина равна 1, то под каждый пиксель отводится 1 бит.
В этом случае 0 соответствует черному цвету, 1 – белому, а
изображение может быть только черно-белым. Если битовая
глубина равна 2, то каждый пиксель может быть закодирован
цветовой гаммой из 4 цветов (22) и т. д.
• Для качественного представления графических данных в
современных компьютерах используются цветовые схемы с
битовой глубиной 8, 24, 32, 40, т. е. каждый пиксель может иметь
28, 224, 232, 240 оттенков.
32

33.

Количество цветов N, отображаемых на экране монитора, может
быть вычислено по формуле
N = 2 i,
где N – полное количество цветов в палитре,
i – битовая глубина.
Если известны размеры (в пикселях) рисунка по высоте Х и ширине
Y, а также битовая глубина i, то занимаемый объем V будет равен
V = X · Y · i.
Время передачи изображения t вычисляется по формуле
где V – объем файла, q – скорость передачи данных.
33

34.

Задача. Растровое графическое изображение 20х20 точек
содержит не более 256 цветов. Сколько памяти потребуется для
хранения изображения?
Решение. Для решения воспользуемся формулой (N = 2i). Одна
точка может иметь один из 256 цветов (N = 256). Найдем сколько
бит i, требуется для ее хранения (битовая глубина) из
соотношения:
256 = 2i
i = 8 бит.
Для хранения изображения 20х20 точек требуется 20* 20* 8 = 3200
бит или 400 байт (3200/8 = 400).
Ответ: Для хранения изображения потребуется 400 байт.
34

35.

Задача. Автоматическая фотокамера производит растровые
изображения размером 300 на 200 пикселей. При этом объём
файла с изображением не может превышать 30 Кбайт, упаковка
данных не производится. Какое максимальное количество цветов
можно использовать в палитре?
Решение.
Объём растрового изображения находится по формуле: V = X · Y · i.
300 · 200 · i < 30 · 213 бит, откуда i < 4,096 бит = 4 бит. Значит, в
изображении можно использовать не более 24 = 16 цветов.
Ответ: 16.
35

36. Кодирование звуковой информации

• Звук представляет собой звуковую волну с непрерывно
меняющейся амплитудой и частотой. В процессе
кодирования непрерывного сигнала производится его
временная дискретизация и квантование.
• Дискретизация заключается в замерах величины
аналогового сигнала огромное множество раз в секунду.
Полученной величине аналогового сигнала
сопоставляется определенное значение из заранее
выделенного диапазона: 256 (8 бит) или 65 536 (16 бит).
Приведение в соответствие уровня сигнала
определенной величине диапазона называется
квантованием.
36

37.

Определить информационный объем V цифрового аудиофайла,
длительность звучания которого составляет t секунд при частоте
дискретизации H и разрешении i битов (квантуют i битами),
можно по формуле
V=k·H·i·t,
где V – объём (размер) звукового файла,
k – количество дорожек в записи (k=1 – моно, k=2 – стерео),
H – частота дискретизации (в Герцах),
i – глубина кодирования (в битах) (разрядность регистра
(разрешение)),
t – время звучания (в секундах)/
N = 2i – количество уровней громкости (интенсивности).
37

38.

Пример. Определить информационный объем цифрового стерео
аудиофайла, длительность звучания которого составляет 10
секунд при частоте дискретизации 22,05 кГц и разрешении 8
битов (квантуется 8 битами).
Решение.
Для определения информационного объема цифрового стерео
аудио файла воспользуемся формулой V=k·H·i·t.
V = 2·22 050·8·10 = 3528000(бит) = 3528000/8/1024/1024 (Мбайт) =
0,42 (Мбайт).
Ответ: Информационный объем цифрового стерео аудио файла
составляет 0,42 Мбайт.
38

39.

Все информационные процессы можно отнести к одному из следующих классов.
Сбор данных — это деятельность по накоплению данных с целью обеспечения
достаточной полноты. В сочетании с методами анализа данных они порождают
информацию, способную помочь в принятии решений. Например, на основе цены
товара и его аналогов, их потребительских качеств мы принимаем решение:
покупать или не покупать этот товар.
Передача данных — это процесс обмена данными. Предполагается, что существует
источник информации, канал связи и потребитель информации. Между ними
устанавливаются соглашения о по- рядке обмена данными. Такие соглашения
называются протоколами передачи данных. Например, в обычной беседе между
двумя людьми негласно принимается соглашение: не перебивать друг друга во
время разговора.
Хранение данных — это поддержание данных в форме, постоянно готовой к выдаче
их потребителю. Одни и те же данные могут по- требоваться потребителю
многократно, поэтому существуют способы их хранения на носителях, например на
бумаге или запоминающих устройствах, и методы их выдачи по запросу
потребителя.
Обработка данных — это процесс преобразования информации из исходной формы
до получения определенного результата. Сбор, накопление, хранение информации
зачастую не являются конечной целью информационного процесса. Нередко
первичные данные используются для решения какой-либо проблемы. Данные
преобразуются шаг за шагом в соответствии с алгоритмом обработки до по- лучения
выходных данных, которые после анализа пользователем предоставляют
необходимую информацию.
39