信息论与编码第二章.doc
- ld555666个人认证 |
- 2021-09-27 发布|
- 47.5 KB|
- 6页
第二章
2.9 (1)对于离散无记忆信源
2.9 (1)对于离散无记忆信源DMS
X
xl x2
L q(xy
—
.P 1-P.
,试证明:
H(X)=H2(p)=-p log p-(l-p)log(l-p)
当p=l/2时,H(X)达到最大值。
(2)对(1)中的DMS,考虑它的二次扩展信源X
={(xlxl),(xlx2),(x2xl),(x2x2)})证明:h(X⑵)=2H(X)。
解:
(1)函数H(X) plogp (1 p)log(l p)中的变量p在()到1中取 值,从函数的结构上可以知道该函数在区间[(),1]上是关于p=l/2 对称的函数。
H(X) [-plogp-(l-p)log(l-p)] log (pi) pp (1 p) plln2
Un2(l p) lln2 log(l p) pln2(l p)
logl pln2(l p)
log (1 p) p 0
在区间[(),().5]上l-p>p,则(1-p) /p>l,所以log,在此区间上 H(x)>0, H(x)单调递增。又该函数是在区间[0,1]上是关于p=l/2 对称的函数,那么在区间[0.5,1]上单调递减。
所以,H(X) H2(p) plogp (1 p)log(l p)在 p=l/2 时,H(X) 达到最大值。
(2)二次扩展后的矩阵:
? x i r xixi
.q(x)LI p2
xlx2
P(l-P)
x2xl
P(l-P)
x2x2 '
(1 - P)2
■
解:
I (xj =-logl/l()()=logl()()(bit)
总信息量为:nI(xJP(xJ+nl(X2)P(X2)
平均:(1 /n)[nI(x1)P(x,)+nl(x2)P仗勿=0.93(bit)
X xi x2 2.19给定信源円(尤)]=[0.6 0.4],
(1)该信源是