Ch2例题与证明四要点.docx
- wangsux个人认证 |
- 2021-04-13 发布|
- 62.57 KB|
- 27页
连续信源的熵与互信息
在通信中模拟信号比如语音、图像未数 字化以前均属于连续信源。 它在概念上与离 散信源是不同的,但也有不少类似之处。 对连续信源的分析,也可以类似于离散信源 从单个连续消息(变量)开始,在推广至连 续消息序列。对于连续随机变量可采用概率 密度来描述;对连续随机序列可采用相应的 序列概率密度来描述;而对于连续的随机过 程一般也可以按照取样定理分解为连续随 机变量序列来描述。
> 单个连续消息的随机变量信源
连续随机变量可以看作是离散随机变 量的极限,故可采用离散随机变量来逼近。 下面,将采用这一观点讨论连续信源的信息 熵与信息量。
并满足 Jr p(x)dx = 1首先类比概率P
并满足 Jr p(x)dx = 1
X : { >
I p(x)J
n份,每份宽度为△=个区间的概率为pi,贝ya + i △
n份,每份宽度为△=
个区间的概率为pi,贝y
a + i △
Pi= I p(u)du 二
Pi a + (i -
,则u处于第i
p(ui
p(ui) △(中值定理)
即当p(u)为u的连续函数时,由中值定理, 必存在一个Ui值,使上式成立 再按照离散信源的信息熵的定义有:
H(u)=—送 p log pi
i
二一艺 p(uiV △ log[ p(ui)也]
i
= —送 p(ui) riog p(ui) + log也]
i
lim Hn(U ) = lim - 2 p(ui)[log p(u)]仏-lim 2 p(Ui)[log 也]也
nT处 nT比 nT处
i i
b
二-J p(u)log p(u)du - lim 徉 p(」)也)log 也
A-? 0 a i
b
二-J p(u)log p(u)du + 或
a
于是我们定义前一项取有限值的项为连
续信源的信息熵,并记为 H=(U).
b
即: 耳2)= 一 J p(u)lo