信息论与编码第二章.doc

想预览更多内容,点击预览全文

申明敬告:

本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己完全接受本站规则且自行承担所有风险,本站不退款、不进行额外附加服务;如果您已付费下载过本站文档,您可以点击这里二次下载

文档介绍

第二章

2.9 (1)对于离散无记忆信源

2.9 (1)对于离散无记忆信源DMS

X

xl x2

L q(xy

.P 1-P.

,试证明:

H(X)=H2(p)=-p log p-(l-p)log(l-p)

当p=l/2时,H(X)达到最大值。

(2)对(1)中的DMS,考虑它的二次扩展信源X

={(xlxl),(xlx2),(x2xl),(x2x2)})证明:h(X⑵)=2H(X)。

解:

(1)函数H(X) plogp (1 p)log(l p)中的变量p在()到1中取 值,从函数的结构上可以知道该函数在区间[(),1]上是关于p=l/2 对称的函数。

H(X) [-plogp-(l-p)log(l-p)] log (pi) pp (1 p) plln2

Un2(l p) lln2 log(l p) pln2(l p)

logl pln2(l p)

log (1 p) p 0

在区间[(),().5]上l-p>p,则(1-p) /p>l,所以log,在此区间上 H(x)>0, H(x)单调递增。又该函数是在区间[0,1]上是关于p=l/2 对称的函数,那么在区间[0.5,1]上单调递减。

所以,H(X) H2(p) plogp (1 p)log(l p)在 p=l/2 时,H(X) 达到最大值。

(2)二次扩展后的矩阵:

? x i r xixi

.q(x)LI p2

xlx2

P(l-P)

x2xl

P(l-P)

x2x2 '

(1 - P)2

解:

I (xj =-logl/l()()=logl()()(bit)

总信息量为:nI(xJP(xJ+nl(X2)P(X2)

平均:(1 /n)[nI(x1)P(x,)+nl(x2)P仗勿=0.93(bit)

X xi x2 2.19给定信源円(尤)]=[0.6 0.4],

(1)该信源是

最近下载