Кодирование текстов

1. Кодирование информации

§ 11. Кодирование текстов
§ 12. Кодирование рисунков:
растровый метод
§ 13. Кодирование рисунков: другие
методы
§ 14. Кодирование звука и видео
§ 15. Передача информации
§ 16. Сжатие данных
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru
1

2. Кодирование информации

2
Кодирование
информации
§ 11. Кодирование текстов
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

3. Равномерное кодирование

Кодирование информации, 8 класс
3
Равномерное кодирование
1) выбрали алфавит:
Сколько битов
?
{А, Б, В, …, Я, …}
нужно?
всего М символов (мощность)
2) длина кода i битов, так что: 2i M
3) составили кодовую таблицу:
А
0
Б
1
В
2
в двоичном коде
000000 000001 000010
К.Ю. Поляков, Е.А. Ерёмин, 2018
…
…
Я
32
…
…
…
100000
…
http://kpolyakov.spb.ru

4. Шрифты

Кодирование информации, 8 класс
4
Шрифты
Файл vasya.txt («только текст»):
10000001
10000010
10000011
65
66
67
?
?
Какие это символы?
Кодовая таблица:
… А
… 65
Где взять изображение?
B
66
коды
символов
C
67
…
…
в файле его нет!
Шрифтовой файл (.ttf, .otf):
65
67
А
C
66
B
Times New Roman
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

5. Кодировка (кодовая таблица) ASCII

Кодирование информации, 8 класс
5
Кодировка (кодовая таблица) ASCII
ASCII = American Standard Code for Information Interchange
Всего 128 символов, коды с 0 до 127
?
Сколько бит нужно?
7-битная кодировка
48 – 57 цифры 0..9
65 – 90 заглавные латинские буквы A-Z
97 – 122 строчные латинские буквы a-z
знаки препинания: . , : ; ! ?
специальные знаки: + - * / () {} []
!
Международный стандарт!
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

6. Однобайтные кодировки

Кодирование информации, 8 класс
6
Однобайтные кодировки
Добавим 1 бит до 8 бит на символ.
?
Сколько символов можно закодировать?
Всего 256 символов, коды с 0 до 255
0
127
1
кодыASCII
128
254
255
расширение
(национальный алфавит)
Кодовая страница (расширенная таблица ASCII)
для русского языка:
Windows-1251 – для системы Windows (Интернет)
KOI8-R – для системы UNIX (Интернет)
CP-866 – альтернативная кодировка (для системы MS DOS)
MacCyrillic – для компьютеров фирмы Apple
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

7. Однобайтные кодировки

Кодирование информации, 8 класс
7
Однобайтные кодировки
небольшой размер файла
удобно обрабатывать программистам
можно использовать только 256 символов
неизвестно какая кодировка
Windows-1251
Здравствуй, мир!
ъДТБЧУФЧХК, НЙТ!
К.Ю. Поляков, Е.А. Ерёмин, 2018
KOI8-R
гДПЮБЯРБСИ, ЛХП!
Здравствуй, мир!
http://kpolyakov.spb.ru

8. Кодировки UNICODE

Кодирование информации, 8 класс
8
Кодировки UNICODE
Идея: все символы в одну таблицу!
16 битов на символ
нужно
больше!
216 = 65536 символов
Стандарт UNICODE: место для 1 112 064 символов
Windows:
UTF-16 2 или 4 байта на символ
заполнены
136 тысяч (2017)
Linux и др.:
UTF-8 от 1 до 4 байт на символ
более 80% сайтов
!
Символы ASCII имеют те же коды!
можно использовать много символов
увеличивается объём файла
сложнее обрабатывать, если переменное
число байт на символ
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru

9. Информационный объём текста

Кодирование информации, 8 класс
9
Информационный объём текста
При равномерном кодировании:
Количество
информации
I=L·i
Место для
1 символа
Количество символов
Задача. Определите информационный объём
сообщения
ПРИВЕТ, МИР!
при использовании 16-битной кодировки.
1) L = 12 символов
2) i = 16 бит = 2 байта
3) I = 12 16 =192 бита
I = 12 2 = 24 байта
К.Ю. Поляков, Е.А. Ерёмин, 2018
!
Считаем пробелы
и знаки препинания!
http://kpolyakov.spb.ru

10. Информационный объём текста

Кодирование информации, 8 класс
10
Информационный объём текста
Задача. Рассказ, набранный на компьютере, содержит
12 страниц, на каждой странице 48 строк, в каждой
строке 64 символа. Определите информационный
объём рассказа в Кбайтах в кодировке, в которой
каждый символ кодируется 16 битами.
I=L·i
3 4 = 3 22
3 16 = 3 24
26
1) L = 12 48 64 = 9 212 символов
2) i = 16 бит = 2 байта
13
9
2
3) I = 9 212 2 = 9 213 байтов=
= 72 Кбайт
10
2
!
1 Кбайт = 210 байтов!
К.Ю. Поляков, Е.А. Ерёмин, 2018
http://kpolyakov.spb.ru