A Mathematical Theory of Communication（通信的数学理论）

一句话

香农 1948 年这篇论文一手创立了信息论（information theory）：他把通信从一门经验手艺变成一门有精确度量、有基本定律的科学——用比特（bit）度量信息，把任何通信系统抽象成「信源 → 编码 → 有噪信道 → 解码 → 信宿」五段，并证明两条铁律：① 一个信息源能被无损压缩到的极限，正好等于它的熵（entropy），再小就会丢信息；② 每条信道有一个确定的容量（capacity）C，只要传输速率低于 C，就存在一种编码能把出错率压到任意小——哪怕信道充满噪声。

Glossary · 术语表

坐标

作者克劳德·香农（Claude Shannon），贝尔实验室，1948 年分两部分发表于《贝尔系统技术期刊》。它接续 Nyquist（1924）、Hartley（1928）关于「信息量 ≈ 可能性数目的对数」的早期直觉，却第一次给出完整的数学理论；次年与 Warren Weaver 合出单行本，标题里的「A（一种）」被改成「The（这套）」。此后所有数字通信、数据压缩、纠错码，乃至香农自己 1949 年的保密通信理论，都建在这篇之上。

问题与动机

1948 年之前，电报、电话、无线电各有各的经验技巧，却没人能回答两个根本问题：「信息」到底是什么、能不能称重？一条有噪声的线路，究竟能可靠地传多快？当时工程界的常识是：要对抗噪声，只能加大功率、加宽带宽，或者干脆把速度降下来——大家默认「传得越快、错得越多，想几乎不出错就得把速率压到接近零」。没有人知道，其实存在一个既固定、又真能达到的上限。香农要做的，是把通信问题从物理细节里抽出来，直接问：本质上能做到什么、做不到什么。

核心思想 / 方法

(a) 把通信剥到只剩「选择」——语义无关

香农开篇就是一句惊人的话：「通信的语义（意义）方面，与工程问题无关。」要紧的不是消息「是什么意思」，而是它是从一堆可能消息里被「选中」的哪一个。他把任何通信系统抽象成五段：信源产生消息 → 发送器把它编码成信号 → 信号穿过（有噪声的）信道 → 接收器解码 → 信宿收到。这个抽象的威力在于：不管你传的是语音、文字还是图片，都化成同一道数学题——在一端重建另一端选出的那个消息。

(b) 比特：用「二选一」度量信息

既然信息就是「从若干可能里选一个」，那可能越多、选中一个携带的信息就越多。香农用以 2 为底的对数来量：N 个等可能的消息里选一个，携带 log₂N 比特信息。2 选 1 = 1 比特（一个是非题），4 选 1 = 2 比特，8 选 1 = 3 比特……「比特（bit）」这个词就此定名（他在文中把它归功于同事 John Tukey）。直觉上，1 比特 = 消除一次「五五开」的不确定。信息不是消息本身，而是它替你消除了多少不确定。

(c) 熵：一个信源平均有多「意外」

真实信源里各消息并非等可能（英文里 e 远多于 z）。香农给出度量：H = −Σ pᵢ·log₂ pᵢ，把每个符号的「意外量」按其概率加权平均——这就是熵（entropy）。他证明：满足几条自然公理（连续、越多选择越大、可分步计算……）的度量，唯一就是这个式子，而它的形式恰与物理里的玻尔兹曼熵一模一样，故借用「熵」之名。白话说：熵就是这个信源平均每个符号带来多少比特的意外，也正好是它能被无损压缩到的极限。概率越均匀，熵越大（最不确定）；越有偏、越可预测，熵越小。

(d) 无噪编码定理：压缩的极限就是熵

一个信源可以被无损压缩到平均每符号 H 比特，不能再少；同时总能设计编码逼近这个极限。多出来的、可省的那部分叫冗余——英文文本约有一半是冗余（所以缺几个字母仍读得懂、txt 压成 zip 能小一半）。这为一切数据压缩（Huffman 编码、算术编码、ZIP、JPEG、MP3）划下了理论地板：压得再狠，也不可能越过熵这条线而不丢信息。

(e) 有噪信道编码定理：本篇的皇冠

最反直觉、也最伟大的结果。给信道定义一个容量 C = max I(X;Y)——在所有可能的输入用法里，「看了输出能对输入减少多少不确定」的最大值（I 叫互信息）。香农证明：只要传输速率 R < C，就存在一种编码，能让出错率任意接近零；一旦 R > C，可靠传输不可能。这颠覆了「快就必然错」的旧信念——出错率趋零，竟然不需要速率趋零，只要不越过 C 就行。

做法的直觉是：把信息摊到很长的一段码块上、让不同消息对应的「码字」在信号空间里彼此离得足够远，噪声的随机扰动就被平均掉、被纠正回来。更妙的是香农的证明用了「随机编码」：随手挑一大堆随机码字，算出来的平均出错率就趋零，那么其中必定至少存在一个好码——他因此证明了好码存在，却没告诉你它具体长什么样。

(f) 连续信道与香农公式

对一条带宽 W、信号功率 S、高斯噪声功率 N 的连续信道，容量为 C = W·log₂(1 + S/N)（比特每秒）。这条香农—哈特利公式直接告诉工程师：想传得更快，要么加带宽、要么提信噪比——它至今是所有无线 / 有线通信的设计标尺。

关键结果

这是一篇理论论文，「结果」就是定理本身，三块基石：熵 H = −Σ p·log p 给出无损压缩的极限；有噪信道编码定理给出可靠通信的确切上限 C，并证明 R < C 时错误率可任意小；连续信道容量 C = W·log₂(1 + S/N)。香农还顺手估计英文的冗余度约 50%（后续 1951 年他让人来猜下一个字母，估出英文的熵约每字母 1 比特出头）。要紧的是：这些数字不是测出来的经验值，而是证明出来的极限——它们说的是「无论技术多先进，都不可能越过这条线」。

为什么重要 / 影响

它凭一己之力开创了一整个学科。「比特」从此成了信息的通用货币——语音、图像、文字乃至 DNA，都能用同一把尺子度量、同一套办法存储与传输，这正是「数字化」的理论前提。它还给工程师立了一个明确的靶子：容量 C。此后半个多世纪，一代代纠错码（Hamming 码、Reed–Solomon、到 1993 年的 Turbo 码、LDPC、再到 5G 的 Polar 码）一步步逼近这条「香农极限」；数据压缩、密码学，乃至机器学习里的交叉熵、互信息、KL 散度，都直接借用它的语言。可以说，没有这篇论文，就没有今天的数字世界。

局限与批评

• 只证存在、不给构造：编码定理是存在性证明（随机编码），说好码一定存在，却不告诉你怎么造、怎么高效解码。真正逼近容量的实用码晚了近半个世纪（Turbo 码 1993、LDPC 复兴）；且贴近极限往往需要很长的码块，带来延迟。
• 刻意剔除「意义」：香农的「信息」只关乎选择与概率，与语义 / 价值无关。这对工程是优点，却常被误用——把 Shannon 信息量当成「意义的多少」是常见误解；Weaver 在导读里试图外推到语义层，但那并不在香农的数学里。
• 依赖已知且良好的模型：定理假设信源统计与信道模型已知且平稳；现实中信源未知、信道随时间变化、带反馈的情形要复杂得多。
• 以点对点为主：多用户、相互干扰、组网的「网络信息论」远为困难，许多一般网络的容量至今仍是未解之谜。
• 连续情形有微妙处：连续信源的「微分熵」不具坐标不变性等技术细节，需要小心处理。

要点