10
香农
“信息论”的奠基之作
克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916—2001）
美国应用数学家香农于1948年发表了论文《通信的数学理论》，不仅介绍了通信理论的概念，还分析了信息的概念，标志着信息论思想的诞生。而信息论最重要的贡献在于，把通信过程看成一种信息移动（或传输）的过程。
信息论量度信息，并研究信息媒介的有效利用。从本质上说，信息是统计的——其量化形式与熵[1]密切关联（见题图中香农头顶的信息熵方程）。“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。”这句话来自香农上述具有里程碑意义的论文之开篇，它不仅解释了通信中涉及的问题，也成为他后来研究生涯的指引。
香农首先把信息传输过程理想化地分为五个部分，即信源→编码器→信道（噪声源加入噪声）→译码器→信宿；其次，他提出信息量的量化概念，即把信息与熵联系起来；最后，他提出了关于受随机噪声影响的信道的最大数据传输率的结论，即香农定理[2]。此后，信息论主要在通信工程领域发挥作用，对一般系统科学的贡献则体现在提出了与热力学相关的信息概念。
现在，计算机虽然给人类提供了处理和加工信息的强大工具，但是，如果没有人提供信息内容，计算机就只是硬冷的设备。香农的信息论将可预见的东西与不可预见的东西进行分离——该理论认为只有不可预见的数据才是信息。他的另一个真知灼见是用最基本而又最简短的数据（二进制数字“1”和“0”；二进制数字是计算机语言的基础）给信息编码。这使得信息可以通过一系列机械转换得到处理，也使得信息能够以一系列脉冲信号的形式被传送。这多少让我们想起早期莫尔斯电报传送信息的思路。于是，这些看似简单的信息传递，发展出了丰富的通信形式。
在香农那个时代的电传通信中，信源就是操作电传打字机的人，而电传打字机就是编码器。打字机由电话线（信道）与需要通信的、远处城市中的电传打印机（译码器）相连接。打字的人通过按动电传机的键钮来传送消息。每一个键钮的按动都能引起一个二进制数字序列的传输，这个二进制数字序列就代表了这个键钮上的字母。由电传打字机输出的脉冲信号都编码成二进制数字，在电话线上传送；在另一终端，二进数字序列被翻译为适当的文字——这在当时就是通信原理关注的传送信息的最佳方法。
如上所述，真正使香农感到兴奋的是，任何类型的消息都可以用一系列的“1”和“0”来传送，不管是单词、数字、图画或是声音。他同时也表明，所有的电传信息来源（人们说的话和电视的摄像等），都可以用每秒接收的比特数来衡量。他说，信道也可以用每秒接收的比特数来衡量其容量。很明显，只有信息来源不超过容量时，信息才能流动——这就是香农信息论中的科学思想。
创作感言
题图描绘的是香农信息论的科学思想图景，用绿色背景的数理逻辑图手书，以及头脑中冒出的信息熵方程，烘托香农的睿智思想。下部绘制的则是香农对机器制作的爱好，比如，他曾制作过一个长着铜胡须的闯迷宫的磁性老鼠（“忒修斯”，位于题图的宫格中），他利用电子学知识，使这一机械动物在迷宫中能找到自己的路。
[1]熵：描述系统无序状况的广延性状态函数，以S表示。熵的改变=热量变化/温度（ΔS=ΔQ/T）。在信息论中，熵是信息的量度（信源中的信息量）。任何信源的熵是消息中能代表信源的最少的比特数。
[2]香农定理：描述了有限带宽、随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系。