通信原理(02信息).pptx
- 文单招、专升本试卷定制企业认证 |
- 2021-07-27 发布|
- 2.62 MB|
- 43页
通信原理;通信原理;Review;Review;Review;Review;单元概述 ;2.1 想知道什么 ——信息;2.1 想知道什么 ——信息;2.1 想知道什么——信息;2.1 想知道什么 ——信息;2.1 想知道什么——信息;2.2 废话有多少信息量;2. 2 废话有多少信息量;2. 2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量;2.2 废话有多少信息量; 【例2.1】 试计算二进制符号等概率和多进制(M进制)等概率时每个符号的信息量。
解:二进制等概率时,即P(1)=P(0)=1/2; 【例2.2】 试计算二进制符号不等概率时的信息量(设P(1)=P)。
解 P(1)=P, 故P(0)=1-P,则 ;例题;[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);[例题](顺便引出“信息熵”的概念);平均信息量;平均信息量;【例2.3】 设由5个符号组成的信息源, 其相应概率为 ; 【例2.4】 一信息源由4个符号A、B、C、D组成,它们出现的概率为3/8、1/4、1/4、1/8,且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。
解:信源输出的信息序列中,A出现23次,B出现14次,C出现13次,D出现7次,共有57个。则出现A的信息量为 ;出现B的信息量为 ;该信息源总的信息量为 ;实际上,用平均信息量公式直接计算可得 ;通信中要寻求解决的问题; 当离散信源中每个符号等概出现,而且各符号的出现为统计独立时,该信源的平均信息量最大。此时最大熵;图 2-1 熵与概率的关系; 对于三元离散信源,当