通信原理(02信息).pptx

想预览更多内容,点击预览全文

申明敬告:

本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己完全接受本站规则且自行承担所有风险,本站不退款、不进行额外附加服务;如果您已付费下载过本站文档,您可以点击这里二次下载

文档介绍

通信原理;通信原理;Review;Review;Review;Review;单元概述 ;2.1 想知道什么 ——信息;2.1 想知道什么 ——信息;2.1 想知道什么——信息;2.1 想知道什么 ——信息;2.1 想知道什么——信息;2.2 废话有多少信息量;2. 2 废话有多少信息量;2. 2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量; 【例2.1】 试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信息量。

 解:二进制等概率时,即P(1)=P(0)=1/2;  【例2.2】 试计算二进制符号不等概率时的信息量(设P(1)=P)。 

  解  P(1)=P, 故P(0)=1-P,则 ;例题;[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);平均信息量;平均信息量;【例2.3】  设由5个符号组成的信息源, 其相应概率为 ; 【例2.4】 一信息源由4个符号A、B、C、D组成,它们出现的概率为3/8、1/4、1/4、1/8,且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。

 解:信源输出的信息序列中,A出现23次,B出现14次,C出现13次,D出现7次,共有57个。则出现A的信息量为 ;出现B的信息量为 ;该信息源总的信息量为 ;实际上,用平均信息量公式直接计算可得 ;通信中要寻求解决的问题; 当离散信源中每个符号等概出现,而且各符号的出现为统计独立时,该信源的平均信息量最大。此时最大熵;图 2-1 熵与概率的关系; 对于三元离散信源,当

最近下载