Lek_1_TPS (1)

1. Теория передачи сигналов ( Б1.0.46 )

2. Тема 1. Количественная мера информации

Лекция №1
Тема 1. Количественная мера
информации

3. Введение. Предмет и задачи дисциплины.

4.

Содержание учебной программы
Лекции:
34 часа (4-й семестр);
17 часов (5-й семестр)
Самостоятельная
работа:
76 часов (4-й семестр);
57 часов (5-й семестр)
лабораторные работы:
17 часов (4-й семестр);
17 часов (5-й семестр)
Практические занятия:
17 часов (4-й семестр);
17 часов (5-й семестр)
Курсовая работа):
5-й семестр
Зачет (4-й семестр)
Экзамен (5-й семестр)

5.

Рекомендуемая литература
1. С.И. Баскаков «Радиотехнические цепи и сигналы»: учеб. М:
Издательство Ленанд 2016;
2. И.С. Гоноровский «Радиотехнические цепи и сигналы»: учеб. М:
«Дрофа», 2006;
3. В.М. Бардаков, В.А. Григоров, Л.В. Козиенко «Анализ сложных
сигналов и их преобразование в линейных и нелинейных
цепях». Лабораторный практикум. Иркутск, ИРГУПС, 2017, - 64
стр.
4. В.М. Бардаков, В.А. Григоров «Количественные характеристики
при передаче сигналов и информации». Методическое пособие
по курсовой работе. Иркутск, ИРГУПС, 2017, - 28 стр.

6.

ˆ = Wпрм u(t)
ˆ
s(t) = Wспс (t) u(t) = Wпср s(t) û(t) = Wлс u(t), (t) s(t)
ˆ
ˆ(t) = Wпсс s(t)
Радиотехнические процессы в канале передачи информации:
1. Преобразование информационного сообщения в электромагнитный сигнал и
кодирование;
2. Генерация ВЧ-сигнала несущей;
3. Управление параметрами сигнала в соответствие с передаваемым сообщением
(модуляция или манипуляция);
4. Основное усиление сигнала и его фильтрация;
5. Выделение исходного информационного сигнала (преобразование частоты,
детектирование);
6. Выделение исходного информационного сообщения (декодирование);

7.

Основные разделы, изучаемые в ТПС:
1. Понятие сигнала, сообщения, количества информации и меры
неопределенности систем передачи информации
2. Анализ сигналов и модулированных колебаний;
3. Прохождение сигналов через радиотехнические цепи
4. Преобразование
сигналов
(генерирование,
преобразование частоты, детектирование)
модуляция,
5. Дискретизация, квантование и цифровая обработка сигналов
6. Статистические явления в радиотехнических цепях

8.

Вопрос 1
Количественная мера
информации

9.

Канал связи: комплекс устройств, который обеспечивает передачу исходного
сообщения (информации) к получателю.
Сообщение: это описание объекта, явления или процесса с помощью
необходимого объема информации.
Информация: набор сведений о свойствах объектов, явлений или процессов,
которые получены в результате обработки и анализа данных и являются
основой для принятия решений потребителя.
Данные: факты, характеризующие объект, явление или процесс, которые
материально в доступной для обработке и анализа форме.

10.

Требования, предъявляемые к каналу
передачи информации:
1. Надежное обнаружение сигнала с минимальной вероятностью
ошибки;
2. Максимальная помехоустойчивость;
3. Корректное определение параметров сигнала с минимальной
погрешностью;
4. Надежное разрешение сигналов;
5. Воспроизведение переданного сообщения с минимальными
искажениями;
6. Корректное предсказание (экстраполяция)
минимальной вероятностью ложного приема
сигналов
Требуется комплексная мера оценки качества канала
передачи информации
с

11.

Количество информации: степень неожиданности сообщения, т.е степень
уточнения (увеличения) апостериорной вероятности события (P2) относительно
априорной вероятности события до приема сообщения (P1)
P
I = log 2 = log( P2 ) − log( P1 ) = − log( P1 )
P1
(1)
Единица количества информации (двоичная единица, бит): вероятность
наступления одного из двух равновероятных событий (да/нет)
1
P1 =
2
I 0 = − log( P1 ) = log( 2) = log 2 (2) = 1
Алфавит сообщения и максимальное количество
заданной длины (n) для алфавита длины (L):
a1a1
a1a2
a2 a1
a2 a2
... a L a1
... aL a2
...
a1aL
...
a2 a L
... ...
... a L aL
N (n) = Ln
(2)
сообщений
Ансамбль сообщений
(3)
(N(n))

12.

Количество информации в одном сообщении длиной n при длине
алфавита L: оценивается для идеализированного случая в предположении, что
вероятность приема любого символа сообщения одинакова (равномерная
плотность вероятности)
1
(4)
I n = − log 2 n = n log 2 ( L), [двоичных единиц]
L
In
(5)
I1 = = log 2 ( L), [двоичных единиц/символ]
n
содержание одной двоичной единицы
I1 = I 0 ( 0 ) I 0 (1)
Реальное полное количество информации в сообщении: оценивается
исходя из того, что вероятности приема отдельных символов сообщения
имеют неравномерную плотность вероятности
I n = −n Pj log 2 ( Pj ), [двоичных единиц] (6)
I1 =
In
= − Pj log 2 ( Pj ) [дв. ед./симв.]
n
(7)

13.

Энтропия источника сообщения оцениваются, как мера неопределенности в
поведении источника сообщения и представляет собой среднее количество
информации, которое переносится в одном символе сообщения (I1)
Мера Хартли (максимальная энтропия)
(7)
Энтропия источника сообщений с
неравномерной вероятностью распределения
символов (формула Шеннона)
H = I1 = − Pj log 2 ( Pj ) (8)
Энтропия
H MAX = log 2 ( L)
Энтропия источника сообщений при наличие
корреляции между символами сообщения
H ( A | A ) = − P(a j −1 ) P(a j | a j −1 ) log 2 ( P(a j | a j −1 ))
L
(9)
L
Свойства энтропии:
1) Энтропия всегда положительна;
2) Чем больше априорная неопределенность источника сообщения, тем больше
энтропия, т.е. тем большее количество информации содержится в сообщении;
3) HMAX > H> H(A|A`);
4) При полной априорной определенности любого исхода принятого сообщения
энтропия равна нулю;

14.

Избыточность сообщения: оцениваются в сравнении со случаем, когда
источник сообщение имеет максимальную энтропию (мера Хартли)
M = 1−
H
H
= 1−
H MAX
log 2 ( L)
(10)
Коэффициент избыточности канала связи: мера для сравнительной оценки
двух каналов связи, в которых энтропия источников сообщения различна
k = 1−
H1 − H 2
H2
= 1−
H1
log 2 ( L)
(11)
Отрицательное последствие избыточности: требуется повышенный объем
канала связи для передачи сообщения
Положительное последствие избыточности: возможность обнаружения и
коррекции ошибок в приеме элементов сообщения

15.

ВЫВОДЫ
1.Количество информации является основной универсальной мерой для оценки
качества канала связи. Все характеристики канала связи должны подбираться таким
образом, чтобы обеспечить максимальное количество информации, переданное
через канал без потерь и с минимальной избыточностью сообщений;
2.Количество
информации
определяется
длиной
алфавита
(количества
информационных символов); длиной сообщения (количеством информационных
символов в сообщении) и плотностью вероятности распределения информационных
символов;
3.Энтропия источника сообщения определяется количеством информации в одном
символе сообщения. Чем больше неопределенность в результате приема элемента
сообщения, тем больше энтропия источника сообщения и тем большее количество
информации поступает потребителю при приеме этого элемента сообщения;
4.Максимальное полное количество информации передается от источника к
пользователю, если вероятность появления каждого из символов в сообщении
одинакова и содержимое отдельных символов сообщения некоррелировано между
символами;
5.Избыточность сообщения, состоящего из независимых символов с равномерным
распределением вероятностей равна нулю. Все сообщения, в которых вероятность
распределения символов неравномерна, и корреляция между символами отлична от
нуля, обладают избыточностью >0.