Информационная биология. Семантическая и прагматическая информация. (Тема 5)

1. Информационная биология

Тема 5.
Семантическая и
прагматическая информация

2. Примеры

Одинаковый - ли смысл придают слову
«сессия» а) студенты; б) бомжи; в)
депутаты. Количество статистической
(шенноновской) информации одинаково
Любите -ли вы: а), б), в) и т.д. Если
ответ на вопрос двоичный (да-нет), то
количество шенноновской информации
опять будет одинаковым.
Но любить можно разное и по-разному.
Это и есть семантический аспект

3. Семантическая информация

Во 2-м аспекте (семантическом) анализируется
смысловое содержание сообщения. Т.е.
устанавливается отношение, соответствие, связь
между знаками (сигналами) и обозначаемыми ими
предметами (между названием объекта и самим
объектом, его сутью).
Семантический аспект можно рассматривать поразному, в том числе с точки зрения смысла и
ценности информации.
Понятие «смысл», «ценность» применительно к
биологической информации весьма существенны
вследствие своеобразия живых систем, их
эволюционного происхождения.

4. Семантическая информация

Ценность информации может быть
количественно определена следующим:
I(ц) = (Р – р)/(1 – р),
где Р – вероятность достижения цели с
использованием семантической информации;
р – вероятность достижения цели случайным
образом.
По мнению Волькенштейна и Чернавского
(1979) ценностью обладает лишь
неизбыточная информация. Но что такое
неизбыточность?
В ряде работ для определения
семантической ценности используется
тезаурусный подход.

5. Тезаурусный подход

Тезаурус – от греческого слова «сокровище»,
«сокровищница».
Тезаурус – совокупность сведений,
которыми обладает субъект
(кибернетическая, живая система),
воспринимающий информацию.
Исходя из этого, количество семантической
информации Iс(тез), содержащейся в тексте
относительно тезауруса, есть мера
изменения этого тезауруса в результате
получения информации текста Iс.
Iс пропорциональна тезаурусу.

6. Тезаурусный подход

С учётом имеющегося тезауруса семантическая
информация м.б. определена как полезная, ценная
информация, формируемая под влиянием некоего
входного сообщения и родственной информации,
мобилизуемой из информационного тезауруса.
Iсем(Θ) = k ∆Θ = log 2P(1)/P(0)
P(0)-вероятность понимания чего-то до получения
сем. информации , случайно
; Р(1) - вероятность того же, но после получения
сообщения.

7. Семантическая информация

В поисках связи между статистическим и
семантическим аспектами информации мы
сталкиваемся с приростом информации, т.к.
семантическая информация означает
увеличение тезауруса. Оценим прирост.
Энтропия множества символов (знаков, букв,
состояний) максимальна, когда все они
равновероятны, т.е.
H = log 2 N
max
В этом случае распределение вероятностей
множеств будет равномерное

8. Равномерное распределение вероятностей

9. Прирост информации

Любое отклонение от равномерного распределения
вероятностей означает уменьшение
неопределённости. Т.е. неопределённость при
полной идентификации новой ситуации относительно
равномерного распределения оказывается меньше.
Значит, любое изменение распределения
вероятностей относительно равномерного, когда
уточнены дополнительные условия, означает
прирост информации, имеющей смысл
семантической.
Знание разницы в распределениях будет иметь
смысл количества семантической информации.

10. Мера Кульбака (Калбэка), информация по-Реньи

Пусть есть две группы событий:
Р(х) = Х(1), Х(2),…..Х(n); P больше 0,
Р(1), Р(2),…..Р(n),
сумма Р(i) = 1.
q(x) = X(1), X(2),…..X(n); q больше 0,
q(1), q(2),….q(n), сумма q(i) = 1.

11. Мера Кульбака

Гистограммы

12. Расчёт по-Реньи

Прирост информации по-Реньи (мера
Кульбака) можно рассчитать по
формуле:
I(q/P) = Σq(i) log 2(q(i)/p(i));
Основание логарифма может быть
любым, но при основании 2 размерность прироста информации –
биты.

13. Резюме

Рассчитываемая по формуле величина
называется приростом информации поРеньи или мерой Кульбака.
Она характеризует относительную
информацию распределения Q
применительно к исходному распределению
Р.
Величина I(q/P) более содержательна,
нежели разность энтропий H(q) – H(P). В ней
каждая вероятность события q и р,
определённые в результате наблюдений,
сравниваются с соответствующими
вероятностями до наблюдения и только
после этого суммируются. Т.е. оценивание
проводится как-бы с учётом тезауруса.
Поэтому такой величине может быть присущ

14. Прагматическая информация

Количество ценной, семантической
информации имеет смысл рассматривать
тогда, когда количества этой информации
(или части) достаточно для удовлетворения
какой-либо, наперёд заданной цели или
определённости. Т.е. информация
используется в конкретном, прагматическом
аспекте и именно тогда она имеет ценность
для её получателя.
При прагматическом использовании
информации рассматривается
содержательная оценка сообщения
применительно к достижению конкретной
цели или задачи

15. Примеры прагматической информации

Вам даётся 100$.
А) Вы безнадёжно больны, цели нет; Б)
Вы больны, но хотите излечиться; В) Вы
здоровы и Вам нужна квартира; Г) Вы
здоровы и у Вас есть всё!!!
Количество статистической информации одно и
то же, но ценность для разных ситуаций не
сопоставима.
Как оценить количественно прагматической
информации с учётом именно несопоставимости
ситуации?

16. Подходы к подсчёту прагматической информации

Существуют разные подходы для оценивания
количества прагматической информации.
Один из вариантов предложил Харкевич. Он
предложил прагматическую ценность
информации оценивать по приращению
вероятности достижения конкретной цели:
I = log2 P(1)/P(0), где Р(1) – вероятность
достижения цели при наличии прагматической
информации, Р(0) – вероятность того же, но
без получения информации. Размерность –
биты.

17. Подход П.В. Симонова

Акад. П.В. Симонов разрабатывал теорию
эмоций. По его мнению, отрицательные
эмоции возникают при дефиците
прагматической информации
(неопределённость угнетает). В то же время
при наличии достаточной прагматической
информации формируется положительная
эмоция.
Исходя из этого :
I(прагм) = I(необх.) – I(существ).
При переводе в формат вероятностей это
уравнение сводится к уравнению Харкевича.

18. Применимость к разным целям.

Применимость прагматической информации к
разным целям может быть различной. В
биологических исследованиях это может
быть выработка условного рефлекса, это
может быть стабилизации электрической
активности нейроном, стабилизация дыхания,
работы сердца, реализация групповых,
популяционных задач и т.д.
Для этих случаев определение количества
прагматической информации может быть
сведено к подсчёту информации по-Реньи на
основе гистограмм регистрируемых
показателей «до того» и «после того».

19. Общая схема взаимоотношения между статистической, семантической и прагматической информациями

I стат.= - сумма P(i) log P(i);
2
I сем. = k*Iстат. + I(тезаур.);
I прагм. = k**Iстат. + k***I(тезаур.).
K*, k**, k*** меньше или равны 1.
Для определения информационной эффективности
живых систем чрезвычайно важно определение
значений коэффициентов.
Но, возможно, более правильным будет
использование других уравнений, в которых будут
использоваться другие, физически и биологически
более определённые слагаемые.
Необходимо этим заниматься или убедительно
доказать невозможность адекватной, корректной
количественной оценки семантической и
прагматической информации.