Кодирование информации. Дискретное кодирование

1. Кодирование информации

1
Кодирование
информации
§ 4. Дискретное кодирование
§ 5. Равномерное и
неравномерное кодирование
§ 6. Декодирование
§ 7. Алфавитный подход к
измерению количества
информации
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

2. Кодирование информации

2
Кодирование
информации
§ 4. Дискретное кодирование
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

3. Вспомним известное

Кодирование информации, 10 класс
3
Вспомним известное
Кодирование — это представление информации
в форме, удобной для её хранения, передачи и
автоматической обработки.
Код — это правило, по которому сообщение
преобразуется в цепочку знаков.
Язык — это система знаков и правил,
используемая для записи и передачи
информации.
Формальный язык — это язык, в котором
однозначно определяется значение каждого
слова, а также правила построения
предложений и придания им смысла.
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

4. Знаковые системы

Кодирование информации, 10 класс
4
Знаковые системы
Знак — это «заменитель» объекта, вызывает в
сознании объект.
– пиктограмма
Символ — это знак, о значении которого люди
договорились.
§ – параграф
– рубль
Знаковая система определяется алфавитом
(набором используемых знаков) и правилами
выполнения операций с этими знаками.
?
Знаковая система в компьютерах?
К.Ю. Поляков, Е.А. Ерёмин, 2018
010101
http://kpolyakov.spb.ru

5. Аналоговые сигналы и устройства

Кодирование информации, 10 класс
5
Аналоговые сигналы и устройства
Аналоговый сигнал — это сигнал,
который в любой момент времени
может принимать любые значения в
заданном диапазоне.
Аналоговые компьютеры
невозможно «очистить» сигнал от помех
при измерении сигнала вносится ошибка
при копировании аналоговая информация
искажается
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

6. Дискретные (цифровые) сигналы

Кодирование информации, 10 класс
6
Дискретные (цифровые) сигналы
U
U1
1
1
0
1
0
U0
0
T
2T
3T
4T
время
Свойства:
• сигнал изменяется только в отдельные моменты
времени (дискретность по времени);
• принимают только несколько возможных значений
(дискретность по уровню).
Дискретный сигнал — это последовательность
значений, каждое из которых принадлежит
некоторому конечному множеству.
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

7. Дискретность

Кодирование информации, 10 класс
7
Дискретность
Цель – максимально точно передавать
сообщения при сильных помехах.
Pacta sunt servanda.
•— —
•—
••
•—•—
01000011001
!
Компьютеры могут хранить и обрабатывать
только дискретную информацию!
… закодированную с помощью конечного
количества знаков некоторого алфавита.
!
Все виды информации нужно
перевести в дискретный вид!
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

8. Дискретизация

Кодирование информации, 10 класс
8
Дискретизация
Дискретизация — это представление единого
объекта в виде множества отдельных
элементов.
π
π
3,13
К.Ю. Поляков, Е.А. Ерёмин, 2018
3,14
3,15
http://kpolyakov.spb.ru

9. Дискретизация

Кодирование информации, 10 класс
9
Дискретизация
t°
t°
36,8
36,8
36,6
36,6
36,4
36,4
6
9
12 15 18 21 24
время
аналоговая информация
6 ч.
9 ч.
12 ч.
15 ч.
18 ч.
21 ч.
24 ч.
36,7°
36,8°
36,9°
36,7°
36,5°
36,5°
36,6°
!
6
9
12 15 18 21 24
время
дискретизация
При дискретизации
есть потеря информации!
дискретная информация
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

10. Непрерывность и дискретность

Кодирование информации, 10 класс
10
Непрерывность и дискретность
!
1
0
2
3
V
4
Дискретность —
это свойство не
информации, а её
представления.
5
6
V
аналоговые
данные
К.Ю. Поляков, Е.А. Ерёмин, 2018
дискретные
данные
http://kpolyakov.spb.ru

11. Непрерывность и дискретность

Кодирование информации, 10 класс
11
Непрерывность и дискретность
!
При увеличении точности дискретизации
свойства аналоговой и дискретной
информации практически совпадают!
3,1415926
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

12. Кодирование информации

12
Кодирование
информации
§ 5. Равномерное и
неравномерное кодирование
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

13. Вспомним известное

Кодирование информации, 10 класс
13
Вспомним известное
Алфавит — это набор знаков, который
используется в языке.
Мощность алфавита — это количество знаков в
алфавите.
Равномерный код — это код, в котором все
кодовые слова имеют одинаковую длину.
Неравномерный код — это код, в котором
кодовые слова имеют различную длину.
Двоичное кодирование — это кодирование с
помощью двух знаков.
1 бит — это одна двоичная цифра (один знак
сообщения, записанного в двоичном коде).
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

14. Количество возможных сообщений

Кодирование информации, 10 класс
14
Количество возможных сообщений
Если алфавит языка состоит из M символов
(имеет мощность M), количество различных
сообщений длиной L знаков равно
N=ML
Для двоичного кода: N = 2L
27
Сколько
• возможных 7-битовых двоичных кодов?
• возможных 5-буквеных слов в русском
335
языке?
• возможных 3-буквеных слов в английском
языке?
263
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

15. Неравномерные коды

Кодирование информации, 10 класс
15
Неравномерные коды
• можно уменьшить длину закодированного
сообщения
Равномерный код:
12 бит
А
00
Г
01
Р
10
ГАГАРА → 010001001000
Неравномерный код:
А
0
Г
01
Р
10
9 бит
ГАГАРА → 010010100
• не всегда однозначно декодируется
→ 010010100 ГАГАРА
010010100
→ 010010100 АРАРРА
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

16. Кодирование информации

16
Кодирование
информации
§ 6. Декодирование
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

17. Декодирование

Кодирование информации, 10 класс
17
Декодирование
Декодирование — это восстановление сообщения из
последовательности кодов.
•— — •— ••• •—•—
ВАСЯ
?
А
000
Б
10
Когда разделитель не нужен?
В
01
Г
110
Все кодовые слова
заканчиваются на
0
листьях дерева!
A
К.Ю. Поляков, Е.А. Ерёмин, 2018
корень
Д
001
1
0
1
0
1
В
Д
1
0
Б
0
1
Г
http://kpolyakov.spb.ru

18. Декодирование

Кодирование информации, 10 класс
18
Декодирование
корень
Г
А В
Д Б
1
0
0
A
1
0
1100000100110
1100000100110
1
0
В
Д
1
Б
0
1
Г
Префиксный код — это код, в котором ни одно
кодовое слово не совпадает с началом другого
кодового слова (условие Фано). Сообщения
декодируются однозначно.
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

19. Постфиксные коды

Кодирование информации, 10 класс
19
Постфиксные коды
Постфиксный код — это код, в котором ни одно
кодовое слово не совпадает с окончанием
другого кодового слова. Сообщения
декодируются однозначно (с конца!).
А
000
Б
01
В
10
Г
011
Д
100
011000110110
01
1000110110
Б Д
К.Ю. Поляков, Е.А. Ерёмин, 2018
Г Б В
http://kpolyakov.spb.ru

20. Кодирование информации

20
Кодирование
информации
§ 7. Алфавитный подход к
измерению количества
информации
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

21. Алфавитный подход

Кодирование информации, 10 класс
21
Алфавитный подход
Количество информации в битах определяется
длиной сообщения в двоичном коде.
8 битов
10101100
вперёд
назад
вправо
влево
00
01
10
11
?
00101010010111
К.Ю. Поляков, Е.А. Ерёмин, 2018
Сколько битов?
14 битов
http://kpolyakov.spb.ru

22. Другие единицы измерения

Кодирование информации, 10 класс
22
Другие единицы измерения
1 байт (bytе) = 8 бит
1 Кбайт (килобайт) = 1024 байта
1 Мбайт (мегабайт) = 1024 Кбайт
1 Гбайт (гигабайт) = 1024 Мбайт
1 Тбайт (терабайт)= 1024 Гбайт
1 Пбайт (петабайт) = 1024 Гбайт
210
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

23. Алфавитный подход

Кодирование информации, 10 класс
23
Алфавитный подход
1) определяем мощность алфавита M;
2) определяем количество битов информации i,
приходящихся на один символ, —
информационную ёмкость (объём) символа:
M, символов
2
4
8
16
i, битов
информации
1
2
3
4
32 64
5
6
128
7
256 512 1024
8
9
10
3) количество информации в сообщении:
I = L·i
где L – количество символов в сообщении.
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

24. Алфавитный подход

Кодирование информации, 10 класс
24
Алфавитный подход
• каждый символ несёт одинаковое количество
информации
• частота появления разных символов (и
сочетаний символов) не учитывается
• количество информации определяется только
длиной сообщения и мощностью алфавита
• смысл сообщения не учитывается
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

25. Задача

Кодирование информации, 10 класс
25
Задача
Определить количество информации в 10
страницах текста (на каждой странице 32
строки по 64 символа) при использовании
алфавита из 256 символов.
1) информационная ёмкость символа:
256 = 28 i = 8 бит = 1 байт
2) количество символов на странице:
32·64 = 25 ·26 = 211
3) общее количество символов:
L = 10·211
4) информационный объём сообщения:
I = L·i = 10·211·1 байтов = 20 Кбайт
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru