Подходы к измерению информации

1.

Подходы к измерению
информации
Выполнила: Герасимова Полина Д21

2.

Измерение информации в информатике важно для
различных процессов с ней:
При хранении. Чтобы быть уверенным, что объём хранилища и объём
информации соответствуют друг другу.
При передаче или продаже. Чтобы объём продажи соответствовал цене.
При обработке. Чтобы рассчитать время, за которое этот объём может быть
обработан.

3.

Цель: Узнать для чего измерять информацию, как, в чем и где она
измеряется.
• План:
1. Введение
2. Что такое информация?
3. Единицы измерения информации
4. Теория информации (Шеннон)
5. Измерения информации в текстах и данных
6. Измерение информации в каналах связи
7. Кодирование и сжатие данных
8. Практическое применение

4.

2. Что такое информация?
• Информация — это осознанные сведения, различные знания, выраженные в сигналах,
известиях, уведомлениях об окружающем мире, являющиеся объектом хранения, передачи и
использования.
• Данные — это совокупность сведений, которые зафиксированы на каком-либо носителе в
пригодной для обработки, передачи и хранения форме.
В чем разница?
Данные — это фиксированные сведения о событиях и явлениях, которые хранятся на
определённых носителях, а информация появляется в результате обработки данных при решении
конкретных задач.
Примеры данных: показания температуры, оценки учащихся, цены акций.
Примеры информации: прогноз погоды на основе показаний температуры, средняя оценка класса
на основе оценок учащихся, анализ рынка с учётом цен на акции.

5.

3. Единицы измерения информации
• Бит — наименьшая единица измерения количества информации. 1 бит — это количество
информации, содержащейся в сообщении, которое вдвое уменьшает неопределённость
знаний о чём-либо.
• Байт — основная единица измерения количества информации. Байтом называется
последовательность из 8 битов. Например, 1 символ — это 1 байт.
1 килобайт (Кб) = 1024 байта;
1 мегабайт (Мб) = 1024 килобайта;
1 гигабайт (Гб) = 1024 мегабайта;
1 терабайт (Тб) = 1024 гигабайта.
• Привет – 96 битов

6.

4. Теория информации ( Шеннон)
• Энтропия— это мера неопределённости или случайности в наборе данных, которая количественно
определяет среднее количество информации, содержащееся в сообщении или наборе данных.
• Энтропия играет важную роль в информатике, потому что является мерой неопределённости или
случайности в наборе данных. Она количественно определяет среднее количество информации,
содержащееся в сообщении или наборе данных.
• Формула Шеннона: I = - ∑pi⋅log2pi, где I — количество информации, N — количество возможных
событий, pi — вероятности отдельных событий, где i принимает значения от 1 до N.
• пример расчёта энтропии: Подбрасывание честной монетки. Рассмотрим случайную величинуX,
соответствующую подбрасыванию честной монетки. Выпадение орла и выпадение решки
равновероятны, следовательно p1 = p2 = 1/2/, тогда

7.

5. Измерение информации в текстах и данных
• Информация в текстах измеряется с помощью алфавитного подхода, при котором вес
каждого символа зависит от их количества в алфавите.
• «Я люблю информатику» - 160 бит

8.

6. Измерение информации в каналах связи
• Пропускная способность канала связи — это максимальная скорость передачи
информации по каналу связи в единицу времени.
• Пропускная способность канала связи измеряется в битах в секунду (бит/с) и кратных
единицах: Кбит/с и Мбит/с.
• Иногда в качестве единицы используется байт в секунду (байт/с) и кратные ему единицы:
Кбайт/с и Мбайт/с.
• Пропускная способность интернет-канала представляет собой предельное количество
данных, способное быть принятым или переданным за единицу времени. В качестве базовой
единицы измерения пропускной способности выступает бит в секунду. Для больших значений
применяют более крупные единицы– килобиты в секунду / мегабиты в секунду /гигабиты в
секунду и так далее.

9.

7. Кодирование и сжатие данных
• Алгоритм Хаффмана — жадный алгоритм оптимального префиксного кодирования алфавита с минимальной
избыточностью. Идея алгоритма состоит в следующем: зная вероятности появления символов в сообщении,
можно описать процедуру построения кодов переменной длины, состоящих из целого количества битов.
Символам с большей вероятностью ставятся в соответствие более короткие коды.
• Чем чаще символ встречается в данных, тем короче код, который ему присваивается. Это позволяет
существенно сократить объем информации, необходимой для хранения или передачи файла.
• Пример: Сжатие изоображения в формате JPEG.
• Результаты работы каждого из этапов алгоритма суммируются, приводя к общему уменьшению размера файла,
зависящим от степени сжатия. Всё, что осталось после кодирования, склеивается в один документ с
расширением JPEG. JPEG представляет собой сжатие с потерями, то есть при сжатии происходит изменение
изображения с потерей некоторых деталей.

10.

8.Практическое применение
• Примеры использования измерения информации:
• В криптографии для проверки на подлинность используется хеш-значение проверяемых данных.
Например, контрольная сумма (хеш) может быть передана по каналу связи вместе с основным
текстом. В приёмнике контрольная сумма рассчитывается заново и сравнивается с переданным
значением. Если будет обнаружено расхождение, то это значит, что при передаче возникли
искажения.
• В сжатии информации для преобразования исходного сообщения из одной кодовой системы в
другую, в результате которого уменьшается размер сообщения, используются алгоритмы сжатия.
Например, кодирование серий последовательностей (Run Length Encoding — RLE) предполагает
замену цепочек или серий повторяющихся байтов на один кодирующий байт-заполнитель и счётчик
числа их повторений.
• В передаче информации для обнаружения ошибок при передаче данных и их хранении на
носителях используется метод Parity Bit, при котором к данным добавляется бит для обнаружения
ошибок.

11.

Методы измерения информации важны в современных
технологиях по следующим причинам:
Управление информацией. Понимание того, как измерять информацию, позволяет управлять ею, оптимизировать процессы
хранения, передачи и обработки данных.
Работа с большими данными. С развитием технологий производятся и хранятся огромные объёмы данных. Правильное
измерение информации позволяет эффективно работать с этими данными, выделяя из них полезную информацию и отсеивая
«шум».
Оптимизация процессов. Знание о том, как измеряется информация, позволяет оптимизировать процессы кодирования,
сжатия и передачи данных, что особенно важно в условиях ограниченных ресурсов.
Безопасность данных. Понимание принципов измерения информации необходимо для создания надёжных криптографических
систем, обеспечивающих безопасность данных.
Искусственный интеллект. Для создания эффективных алгоритмов машинного обучения и искусственного интеллекта
необходимо понимать, как измеряется информация, чтобы правильно интерпретировать результаты и делать корректные
выводы.
Пример: Определение качества интернет-соединения. Входящая и исходящая скорость интернета показывают, какое
количество данных может быть загружено и отправлено за определённый промежуток времени. Например, чем выше скорость
интернета, тем быстрее загружаются сайты, скачиваются или отправляются сообщения с файлами.