Ch2例题与证明四要点.docx

想预览更多内容,点击预览全文

申明敬告:

本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己完全接受本站规则且自行承担所有风险,本站不退款、不进行额外附加服务;如果您已付费下载过本站文档,您可以点击这里二次下载

文档介绍

连续信源的熵与互信息

在通信中模拟信号比如语音、图像未数 字化以前均属于连续信源。 它在概念上与离 散信源是不同的,但也有不少类似之处。 对连续信源的分析,也可以类似于离散信源 从单个连续消息(变量)开始,在推广至连 续消息序列。对于连续随机变量可采用概率 密度来描述;对连续随机序列可采用相应的 序列概率密度来描述;而对于连续的随机过 程一般也可以按照取样定理分解为连续随 机变量序列来描述。

> 单个连续消息的随机变量信源

连续随机变量可以看作是离散随机变 量的极限,故可采用离散随机变量来逼近。 下面,将采用这一观点讨论连续信源的信息 熵与信息量。

并满足 Jr p(x)dx = 1首先类比概率P

并满足 Jr p(x)dx = 1

X : { >

I p(x)J

n份,每份宽度为△=个区间的概率为pi,贝ya + i △

n份,每份宽度为△=

个区间的概率为pi,贝y

a + i △

Pi= I p(u)du 二

Pi a + (i -

,则u处于第i

p(ui

p(ui) △(中值定理)

即当p(u)为u的连续函数时,由中值定理, 必存在一个Ui值,使上式成立 再按照离散信源的信息熵的定义有:

H(u)=—送 p log pi

i

二一艺 p(uiV △ log[ p(ui)也]

i

= —送 p(ui) riog p(ui) + log也]

i

lim Hn(U ) = lim - 2 p(ui)[log p(u)]仏-lim 2 p(Ui)[log 也]也

nT处 nT比 nT处

i i

b

二-J p(u)log p(u)du - lim 徉 p(」)也)log 也

A-? 0 a i

b

二-J p(u)log p(u)du + 或

a

于是我们定义前一项取有限值的项为连

续信源的信息熵,并记为 H=(U).

b

即: 耳2)= 一 J p(u)lo

最近下载