Энтропия объединенной ВС. Условная энтропия и её свойства

1.

Энтропия объединенной ВС.
Условная энтропия и её свойства.
1. Понятие энтропии объединенной ВС;
2. Условная энтропия;
3. Теорема о связи энтропии объединенной
ВС и энтропии составляющих её частных
схем.

2.

Понятие энтропии объединенной ВС
а1
а2
b1
b2
c11
p11
c12
p12
c21
p21
c22
p22
…
аm
p(ai bj ) ≠ pi qj
…
…
bn
c1n
p1n
p1
c2n
p2n
p2
cmn
pmn
pm
…
cm1
pm1
cm2
pm2
q1
q2
…
qn

3.

Пример объединенной ВС

4.

энтропия объединенной ВС
H(AB) = - ∑ p(ij)log p(ij)
(ij)

5.

Условная энтропия
H(B/А) = - ∑ pijlog pij
(ij)
Hi = H(B/ai) = -∑ p(bj /ai) log p(bj /ai)=-∑pijlogpij
(j)
(j)
H(AB) – H(A) = H (B/A)
Если p(ai bj ) = pi qj , то H(B/A)= H(B)

6.

Теорема о связи энтропии
объединенной ВС и энтропии
составляющих её частных схем
Для любых двух конечных ВС
H(AB) ≤ H(A)+H(B).
Если А и В независимы, то
H(AB) = H(A)+H(B).

7.

Следствия
1. H(B/A) ≤ H(B)
2. H(B/A) ≤ H(B), A=(A1,…,Ar)
r
3. Н(A1,…,Ar) ≤ ∑ Н(Аk)
k=1
4. H(C/ AB) ≤ H(C/B)
5. Н(Ar / A1,…,Ar-1 ) ≤ H(Ar / A2,…,Ar-1 )