通信的数学理论.PDF

通信的数学理论 (A Mathematical Theory of Communication) C. E. SHANNON

引言

近来出现了许多以带宽换取信噪比的调制方法，比如 PCM和 PPM，它们的出现进一步激发了人们对广义通信 1 2

理论的兴趣。在奈奎斯特（Nyquist） 和哈特莱（Hartley） 发表的一些重要相关论文中，奠定了这一理论

的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统

计结构和最终信宿的本质而可能减省的内容。

通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。

这些消息通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信

的语义与工程问题无关。重要的是：实际消息是从一个消息集合选出的。所设计的系统必须能够处理任意选

定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。

如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单

调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数

函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但

在所有情况下，我们使用的度量在实质上都是对数函数。

对数度量之所以更为便利，其原因有多种：

1. 它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性 的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求 以 2 为底的对数，则增加一个继电器后，会使结果加 1。使时间加倍，会使可能消息数近似变为原来的 平方，而其对数则是加倍，诸如此类。