Ch2例题与证明四要点.docx

想预览更多内容,点击预览全文

申明敬告:

本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。如果您已付费下载过本站文档,您可以点击这里二次下载

文档介绍

连续信源的熵与互信息

在通信中模拟信号比如语音、图像未数 字化以前均属于连续信源。 它在概念上与离 散信源是不同的,但也有不少类似之处。 对连续信源的分析,也可以类似于离散信源 从单个连续消息(变量)开始,在推广至连 续消息序列。对于连续随机变量可采用概率 密度来描述;对连续随机序列可采用相应的 序列概率密度来描述;而对于连续的随机过 程一般也可以按照取样定理分解为连续随 机变量序列来描述。

> 单个连续消息的随机变量信源

连续随机变量可以看作是离散随机变 量的极限,故可采用离散随机变量来逼近。 下面,将采用这一观点讨论连续信源的信息 熵与信息量。

并满足 Jr p(x)dx = 1首先类比概率P

并满足 Jr p(x)dx = 1

X : { >

I p(x)J

n份,每份宽度为△=个区间的概率为pi,贝ya + i △

n份,每份宽度为△=

个区间的概率为pi,贝y

a + i △

Pi= I p(u)du 二

Pi a + (i -

,则u处于第i

p(ui

p(ui) △(中值定理)

即当p(u)为u的连续函数时,由中值定理, 必存在一个Ui值,使上式成立 再按照离散信源的信息熵的定义有:

H(u)=—送 p log pi

i

二一艺 p(uiV △ log[ p(ui)也]

i

= —送 p(ui) riog p(ui) + log也]

i

lim Hn(U ) = lim - 2 p(ui)[log p(u)]仏-lim 2 p(Ui)[log 也]也

nT处 nT比 nT处

i i

b

二-J p(u)log p(u)du - lim 徉 p(」)也)log 也

A-? 0 a i

b

二-J p(u)log p(u)du + 或

a

于是我们定义前一项取有限值的项为连

续信源的信息熵,并记为 H=(U).

b

即: 耳2)= 一 J p(u)lo

您可能关注的文档

最近下载