en of Mathematics 数学人物M

数学文化 第8卷第1期 201710

一百年前，中美两国各自诞生了一位科学名人，他们是分别出生

于 4 月 30 日和 7 月 7 日的信息论之父香农（Claude Elwood Shannon, 1916-2001）和应用数学翘楚林家翘 （1916-2013）。他们都是数学奇才，

又同在麻省理工学院执教多年，一个在电子工程系，一个在数学系，

都被教务长任命为校级应用数学委员会的首批委员。上个月我写了一

篇长文，纪念流体力学“稳定性先生”林家翘的百岁诞辰 1，这次禁

不住再次挥笔，庆祝信息天使香农的灿烂人生。

香农的一生，可以说是数学与理工这对恋人的最佳组合，也可成

为诠释林家翘应用数学理念的极好例证。他的一生杰作无数，许多学

术成果都是数学思想的直接产物，甚至有些文章的题目都有模式 ：某

某论题的数学理论 ；例如 1941 年发表的《微分分析机的数学理论》

（Mathematical Theory of the Differential Analyzer）及 1945 年提交给

雇主贝尔实验室的报告《密码术的数学理论》（A Mathematical Theory of Cryptography），从标题上看好像是数学家为工程师们写文章。

香农最伟大的论文《通信的数学理论》（A Mathematical Theory of Communication），发表于 1948 年，题目格式也跟上述如出一辙。该文宣告

了“信息论”作为一门学科的诞生。他几乎同样伟大的创造是 21 岁时于麻省

理工学院完成的硕士论文《中继及开关电路的符号分析》（A Symbolic Analysis of Relay and Switching Circuits）。其中他运用在密歇根大学读本科时学到的“布

尔代数”，论证了数字计算机及数字线路逻辑设计之可能性。写过获奖图书《计

算机 ：从帕斯卡到冯 • 诺依曼》（The Computer from Pascal to von Neumann）、第一台现代电子数字计算机 ENIAC 研制者之一的数学家兼计算机科学家戈德

斯坦（Herman H. Goldstine, 1913-2004）称它为“有史以来最重要的一篇硕士

论文”。

丁 玖

纪念信息论之父香农诞辰一百周年

数学与理工

1 参见《数学文化》2016/ 第7 卷第 4 期

。

2017 第8卷第1期 数学文化 11

en of Mathematics 数学人物M

1940 年，香农以《理论遗传学的代数》（An Algebra for Theoretical Genetics）的学位论文获得麻省理工学院的数学博士文凭，之后在普

林斯顿高等研究院呆了一年，与爱因斯坦、外尔、冯 • 诺依曼等数理

大家时有接触，翌年去了贝尔实验室工作。经过七年的不懈努力，他

提炼出信息熵这一重大概念，证明了一系列关于熵的数学定理。然而，

熵这个信息论专业词汇，最终却是冯 • 诺依曼替他起的。在建立这个

有关信息传输不确定性的量化过程中，开始他想用“信息”（information）这个词表示“不确定程度”，但这个已被老百姓用滥了的普通名词根本

没有数量化的资本。后来他又想用“不确定性”（uncertainty）来表达“不

确定度”，但这个抽象名词无法胜任它应肩负的量化职责。某天他碰到

知识丰富的大数学家冯 • 诺依曼，便向他求教。后者建议他就用“熵”

这个词，理由有二 ：一是它来自热力学与统计物理，已有不确定性的

含义，二是没人真懂熵为何物，容易避免争论。

熵的英文原名及其汉译也颇有意思。德国数学物理学家克劳修斯

（Rudolf Clausius, 1822-1888）于 1865 年首次使用 entropy 这个源自

希腊文的英文单词来表达热力学中的热量转换，并用大写的“S”代表

之，以纪念法国的热力学先驱卡诺（Sadi Carnot, 1796-1832）。1923 年，

当他的一位后辈热力学家来中国讲学时，他提到的 entropy 表达为两数

之商的形式，因而在旁翻译的胡刚复博士（1892-1966）灵机一动，将

它翻译成“熵”，既有数学的“商”又有热力学的“火”。真是妙译！

香农 1948 年提出的信息熵不仅成了他开创的信息论基本概念，而

且帮助了苏联大数学家柯尔莫哥洛夫在 1957 年建立保测变换动力系统

的测度熵概念以及 1965 年其他三位数学家发展连续变换拓扑动力系统

的拓扑熵概念。1957 年去世的冯 • 诺依曼大概没想到熵在动力系统中

会扮演系统内部混乱程度测量器的角色。从谷歌学术（Scholar.google.com）网页上可知，香农这篇文章的被引用次数已超过 87400。我孤陋

寡闻，至今未知哪一篇学术论文

的被引用次数比它还高。

香农出生在美国密歇根州

一个名叫 Petoskey 的湖边小城，

这个湖就是五大湖之一的密歇根

湖。美国历史上家喻户晓、在中

国也赫赫有名的大发明家爱迪

生（Thomas Alva Edison, 1847-1931）是他家的远房亲戚，也是

他从小无比崇拜的英雄。不知他

身上流淌的血液与爱迪生有多少

交集，他和这个伟大的前辈一样

从小到老喜欢动手，热衷实验。

布尔

爱迪生

克劳修斯

卡诺

en of Mathematics 数学人物M

数学文化 第8卷第1期 201712

不过他比爱迪生更进一步的是，他更喜欢数学，因而二十岁于密歇

根大学本科毕业时，拿回家的双学士证书是电子工程和数学，而后

者赐予他的严格逻辑思维训练让他一辈子受益无穷。比如，正是他

在密歇根大学修课时接触到英国数学家布尔（George Boole, 1815-1864）的最伟大发明布尔代数，成就了他那篇麻省理工学院历史上的

最优秀硕士论文。他的求学经历对中国的工科大学生和研究生很有

启发 ：如果你想成长为杰出的工程师，年轻时多学点数学思想，多

读些数学书籍，而不要急于沉湎于琐碎的工程细节。

香农的一生学术，闪耀着应用数学的光彩，与林家翘的人生轨

迹不谋而合。两个同龄人，都不是象牙塔里埋头推导的理论数学家，

而是向自然进军对症下药的应用数学家，一个在流体力学和天体力

学竖立了两座高峰，一个开创了整个的数字线路信息通讯时代，让

亿万民众充分享受现代文明的乐趣。他们是追随英国人牛顿的数学

家，不甚欣赏另一个英国人哈代对纯数学的“孤芳自赏”。自然科学

和工程技术是他们玩耍数学十八般武艺的疆场，因为正如伽利略早

就宣称的，“自然之书是用数学符号写的！”

数学，几百年来多少人为你唱赞美歌。八百年前的罗吉尔 • 培根

（Roger Bacon, 1212-1294）就预见到“所有科学都需要数学”，怀特

海（Alfred Whitehead, 1861-1947）更把纯数学视为“人类灵性最富

于创造性的产物”，爱因斯坦也把它誉作“逻辑思想的诗歌”，而狄拉

克则感叹“上帝用美丽数学创造了世界”。我在罗素自传中读到，年

轻时代的他曾想自杀，但未践行，因为“我希望知道更多的数学”。

在学术界，纯粹数学家们常有“高傲公主”的自我陶醉，而应

用数学家们时常做的又是林家翘所不屑一顾的“实用数学”，沦为“科

学的仆人”。怎样才让应用数学家也成为“科学的主人”呢？套用莎

士比亚的名言 ：“这是个问题。”纵观香农的科学人生，我们似乎能

窥见部分的解答。

根据一名伟人的定义，数学研究现实世

界数量关系和空间形式。科学探索自然界的

基本规律，包括物理科学与生命科学，而工

程则将自然科学的规律造福于人类。科学导

致工程，工程推动科学 ；科学认识自然，工

程改造自然。而数学作为科学之皇后，在科

学技术的进步中往往起着不可思议的关键作

用。工程的第一原理源自科学发现，科学的

分析工具落脚数学推理。工程研究的突破口

往往在于数学的奇思妙想，抽象思维的引入

使得工程科学如虎添翼。

历史上，最有用的数学微积分的创立来香农

2017 第8卷第1期 数学文化 13

en of Mathematics 数学人物M

自急需解决的科学与工程问题 ：航海学与天体力学导致通过位置函数求解速度

与加速度 ；光学的透镜设计提出曲线的切线问题 ；行星与太阳的最远最近距离

等同于求函数的最优值 ；万有引力的结论引出曲线求长、区域面积体积及重心

位置。接踵而至的一些数学分支简直就是理工问题的孪生兄弟，如变分法脱胎

于伯努利的“最速降线问题”，最终导致欧拉 - 拉格朗日变分法基本微分方程。

到了近代，黎曼几何成就了爱因斯坦的相对论，薛定谔把纯粹数学的虚数单位

放进了他的最著名方程，冯 • 诺依曼用泛函分析的算子理论诠释量子力学，甚

至哈密尔顿脑袋瓜杜撰的四元数也派上了大用场。

到了现代，数学在理论物理等重要学科中扮演的角色更是举不胜举。最典

型的生动例子当数杨振宁与陈省身之间的对话。杨振宁和米尔斯 1954 年将外

尔的交换群规范场论推广到非交换群。二十年后杨教授得知规范场就是微分几

何概念纤维丛的联络而觉得不可思议 ：数学家居然先于物理学家无中生有创

造概念。陈省身却回答他“不，不。这在数学上是自然而真实的。”深受全世

界病人欢迎的 X- 线层析摄影仪（俗称 CT），其思想得益于奥地利数学家 1917年发明的“拉东变换”，而美国理论物理学家与英国电子工程师的携手杰作，

得到了诺贝尔医学与生理奖。

数学的持续发展离不开科学技术不断提出的新问题、新挑战。计算数学中

的有限元最初由结构力学工程师们开发。研究天体力学的三体问题使得庞加莱

首次发现天体运动中的混沌现象，并开创了微分方程的定性理论及对拓扑学的

研究。幻想长期天气预报的可能性让洛伦茨在数值计算玩具天气模型时无意中

发现了“蝴蝶效应”，但如果他缺乏足够的数学训练，

这个可能的发现当时或许稍纵即逝而把“混沌之父”的

桂冠让给他人。谷歌之所以能在网络搜索引擎上一鸣惊

人，就因为它的两位创始人使用随机矩阵的利器而创造

的“网页排序”新方法，世界上最大的矩阵——谷歌矩

阵，就是他们创业的最大宝库。数学在这些创新活动中

总是扛着大旗走在前面。

香农在创立信息论的过程中，也是通过数学来揭

示信息世界的规律，数学思考通讯的基本问题，着重

探索信息编码与信息传输这些关键术语，将概率论创

造性地应用于信息不确定性的量化研究，从而首次提

出信息熵的革命性概念。他的研究方式与林家翘的应

用数学理念完全一致，这就是主动提出研究对象中的

科学问题，通过问题的解决加深认识，或创造新知识，

最终解决问题。这就是应用数学的真谛。

简洁性是数学美的特点，也是应用数学美的标准。

在外尔眼里，数学中的“美”比“真”更令他向往。

爱因斯坦的质能等式 E ＝ mc2 很美，更不要说被称为

最美公式的欧拉等式 eiπ ＋ 1 ＝ 0 了。香农推导出的

en of Mathematics 数学人物M

数学文化 第8卷第1期 201714

信息熵表达式也是美得不得了，因为它仅仅由简单函数 － x ln x 在有限个点上

的值相加而成。更令人惊奇的是，这个信息世界最伟大的数学式子，竟然可用

初等数学的工具完全推导出。下面我们看看香农是怎样推演出信息熵公式的。

设想一个有限的样本空间有 n 个各自用其概率 p1, p2, … , pn 表示的基本

事件，简记为 (p1, p2, … , pn)。香农用熵来数学量化这个样本空间所具有的“不

确定度”，这个数就是熵函数 H 在 p1, p2, … , pn 上的值 H(p1, p2, … , pn)。不

确定度和概率一样容易通过例子理解。

比方说，听到气象预报员说“今天下雨的可能性是百分之九十”，我们大概

出门带伞，但如果她预计“今天有百分之五十的可能下雨”，那我们就会犹豫是

否带伞。这就涉及到不确定度的比较：后者的不确定程度较大。用熵的语言来讲，

就是 H(9/10, 1/10) < H(1/2, 1/2)。将这个常识一般化，我们就知道熵函数必须满

足如下的最大值原理 ：对所有加起来等于 1 的非负数 p1, p2, … , pn，恒有

H(p1, p2, … , pn) ≤ H(1/n, 1/n, …,1/n)。

香农并未用上述原理来推导熵公式，而只给出如下“三项基本原则”就本

质上确定了熵的漂亮式子。第一项基本原则是 ：H(1/n, 1/n, …,1/n) 是自然数 n的严格递增函数。这个事实可以用玩抛均匀硬币和掷均匀骰子的游戏看出。每

抛一次硬币，正面或背面朝上的概率均为 1/2，而每掷一次骰子，立方体每个

面朝上的概率均为 1/6。我们知道，方块某个面朝上的不确定度应大于硬币正

面或反面朝上的不确定度，即

H(1/2, 1/2) < H(1/6, 1/6, 1/6, 1/6, 1/6, 1/6)。

第二项基本原则是 ：如果一个不确定事件分解成几

个持续事件，则原先事件的不确定度等于持续事件不确

定度的加权和。这个理解起来稍有难度，用例子帮助说

明。假设物理系赵教授、数学系钱教授和孙教授竞争

理学院习院长发放的科研基金，每人申请成功的概率

分别为 1/2, 1/3, 1/6。院长很公平，让两系得奖机会均

等，即获奖概率都是 1/2。若物理系拿到基金，就到了

赵教授名下。如数学系得奖，钱教授有 2/3 的概率到手，

而孙教授只有 1/3 的机会取胜。这三个教授获得院长基

金的不确定度 H(1/2, 1/3, 1/6)，就应该等于物理系或数

学系拿到这笔基金的不确定度 H(1/2, 1/2)，加上数学系

赢得该基金的概率 1/2 与在数学系拿到基金的条件下，

钱教授或孙教授得到它的不确定度 H(2/3, 1/3) 之乘积。

换言之，H(1/2, 1/3, 1/6) ＝ H(1/2, 1/2) + ½ H(2/3, 1/3)。剩下的基本原则只属于数学 ：对固定的自然数 n，

不确定度函数 H 是 (p1, p2, …, pn) 的连续函数。这是

一切数学公式的基本属性。

2017 第8卷第1期 数学文化 15

en of Mathematics 数学人物M

香农证明了 ：任何定义于所有样本空间上的函数 H，只要它满

足上述的“三项基本原则”，除了常数因子，必有如下表达式 ：

H(p1, p2, … , pn) ＝ － (p1 lnp1 + p2 ln p2 + … +pn ln pn)。

由此可见，对应于样本空间 (p1, p2, … , pn) 的熵是函数 － x ln x在点 p1, p2, … , pn 上的值之和。如果此表达式乘上热力学中著名的

玻尔兹曼常数，信息熵完全就和十九世纪美国最伟大的数学物理学

家吉布斯在统计热力学中得到的“吉布斯熵”一模一样。

现在展示熵公式的初等证明，无需大学知识，分三步进行。

第一步 ：记 A(n) = H(1/n, 1/n, …,1/n)。我们通过图示

用 n ＝ 23 引出一般结论。逐次应用上述第二项基本原则得到

A(23) ＝ A(2) ＋ [A(2)/2 ＋ A(2)/2] ＋ [A(2)/4 ＋ A(2)/4 ＋ A(2)/4 ＋ A(2)/4] ＝ A(2) ＋ A(2) ＋ A(2) ＝ 3A(2)。

推而广之就有

A(sm) ＝ A(s) ＋ s[s － 1A(s)] ＋ … ＋ sm － 1[s － (m － 1)A(s)] ＝ m A(s)。 (I)

现在假设四个自然数 t, s, n, m 满足不等式

sm ≤ tn < sm － 1。

两边求对数，得 m ln s ≤ n ln t < (m＋ 1) ln s，即

m/n ≤ ln t/ln s < m/n＋ 1/n。

因而有

|m/n－ ln t/ln s| < 1/n。 (II)

吉布斯

en of Mathematics 数学人物M

数学文化 第8卷第1期 201716

由第一项基本原则，A(k)是 k的递增函数。故式 (I) 推出m A(s) ≤ n A(t) < (m + 1)A(s)，因此

|m/n－ A(t)/A(s)| < 1/n。 (III)

式 (II) 和 (III) 保证了

|A(t)/A(s)－ ln t/ln s|< 2/n。

既然 n 可为任意自然数，就有 A(t)/A(s) = ln t/ln s，或言之，

A(t)/ln t ≡ A(s)/ln s。

故存在正常数 C（取为 1），使得 A(t) ＝ C ln t ＝ ln t。因此

H(1/n, …, 1/n) ＝ ln n ＝− 1n

i=1

n

∑ ln 1n( )，

即熵公式在 p1 ＝ p2 ＝ … ＝ pn ＝ 1/n 时成立。

第二步 ：证明熵公式对所有和为 1 的正有理数 p1, p2, … , pn 都对。我们

用 p1 ＝ 1/2, p2 ＝ 1/3, p3 ＝ 1/6 来阐述证明的思想。

根据第二项基本原则，

H(1/6,…,1/6) ＝ H(1/2,1/3,1/6) ＋ 12 H(1/3,1/3,1/3) ＋ 1

3H(1/2,1/2) ＋ 16 H(1)。

移项后则有，

H(1/2,1/3,1/6) ＝ H(1/6,…,1/6) － 12 H(1/3,1/3,1/3) － 1

3H(1/2,1/2) － 16 H(1)。

如此分解是为了用到第一步的结果。将分数写成具有共同分母的形式

p1 ＝ 1/2 ＝ 3/(3 ＋ 2 ＋ 1) ＝ n1/(n1 ＋ n2 ＋ n3), p2 ＝ 1/3 ＝ 2/(3 ＋ 2 ＋ 1) ＝ n2/(n1 ＋ n2 ＋ n3),p3 ＝ 1/6 ＝ 1/(3 ＋ 2 ＋ 1) ＝ n3/(n1 ＋ n2 ＋ n3)，

上述分解就是

2017 第8卷第1期 数学文化 17

en of Mathematics 数学人物M

H(p1, p2, p3) ＝ A(n1 ＋ n2 ＋ n3) － [p1A(n1) ＋ p2A(n2) ＋ p3A(n3)]。

推广到一般情形 p1, p2, …, pk: 设

pi ＝ ni/(n1 ＋…＋ nk), i ＝ 1, 2, …, k，

则有等式

H(p1, p2, …, pk) ＝ A(n1 ＋…＋ nk) － [p1A(n1) ＋ …＋ pkA(nk)]。

将 A(n) ＝ ln n 代入，就有

H(p1, p2, …, pk) ＝ ln (n1 ＋…＋ nk) － (p1 ln n1 ＋ … ＋ pk ln nk) ＝ (p1 ＋ … ＋ pk) ln (n1 ＋…＋ nk) － (p1 ln n1 ＋ …＋ pk ln nk) ＝ － [p1 ln (n1/(n1 ＋…＋ nk)) ＋ …＋ pk ln (nk/(n1 ＋ … ＋ nk))] ＝－ (p1 ln p1 ＋…＋ pk ln pk)。

第三步 ：既然熵公式对所有和为 1 的正有理数成立，第三项基本原则推出

它对所有和为 1 的非负实数成立。这就完成了证明。

信息熵公式基于的函数－ x ln x，它的图像是向下弯曲的曲线，其上任意两

点的连线都在这两点之间的曲线段之下。可用初等微分学证明对任意不同正数

a 和 b，有吉布斯不等式 a － a ln a < b － a ln b。运用它可证信息熵的确满足

我们前面指出的最大值原理，即当所有的 p1, p2, … , pn 都选为 1/n 时，信息熵

取最大值 ln n，这与我们的直观相符。

没想到吧？伴随高超的想象力和创造性的思维，即便初等数学也能导致伟

大的发现。信息熵现在也叫“香农熵”，它简单而美丽的表达式，是五彩缤纷

的现代信息与通讯时代的发源地，也是“数学，只有数学，才是科学技术发展

的源动力”这句断言的见证者。

微分分析机

en of Mathematics 数学人物M

数学文化 第8卷第1期 201718

我们现在探讨一下怎样成为好的理工学家。历史上，数学家没有专门的称

号，因为他们同时也是其它学家，如阿基米德既被美国数学史家贝尔称为史上

最伟大的三个数学家之一（另两个是牛顿和高斯），同时也是古希腊最伟大的

物理学家，并是了不起的工程学家，他用杠杆原理制作的远程石炮让敌舰狼狈

逃窜。文艺复兴后三百年间的科学家，许多兼任数学家与工程师，如伽利略、

帕斯卡、牛顿。二十世纪前最后的全能数学家庞加莱也是被提名诺贝尔物理奖

次数最多的科学家和工程师。进入二十世纪不久，大量的纯数学家与科学家、

工程师渐行渐远，老死不相往来，躲在象牙塔证明他们的定理去了。

但是新世纪看到了曙光！现在数学家与科学家、工程师又开始了合作。这

是个“双赢”的时代，数学家与工程师的联姻催生了壮硕的“产儿”：密码学、

运筹学、计算流体力学、复杂网络、材料科学、控制论等等。科学技术的理想

状态是 ：“工程师”与“应用数学家”几乎成为同义词。这就对工程师的培养

提出了极高的要求。科学史上有两位同样伟大的英国物理学家，但由于其不同

的数学训练，让其中的一位终身遗憾。他们是法拉第与麦克斯韦。前者发现了

电磁感应，但他有限的数学知识未能使他理论上“更上一层楼”，后者从大学

起就受到好的数学教育，大一的导师是哈密尔顿，最终成为伟大的数学物理学

家。麦克斯韦方程源自法拉第的实验，是法拉第定律等的数学化，是电磁场论

中的“牛顿力学”，是经典电动力学的基石。在麦克斯韦电磁理论的指引下，

赫兹实验证明了电磁波的存在，并证明电磁波与光波速度一样。麦克斯韦方程

是电磁波之母，她对于电子工程学犹如牛顿力学对于工程力学。即便现在，计

算数学家与电子工程学家还在孜孜不倦地研究它。

受过数学训练的工程师更易成功。比香农更早的典范非空气动力学家冯 •卡门莫属。他早年钻研数学与理论物理，在希尔伯特时代的哥廷根大学受过抽

象思维的熏陶，其杰出成就让他在肯尼迪总统手上接过美国的第一枚国家科学

奖章。我熟悉的一位任教香港的华人电子工程学家，跟香农一样是个数学博士，

“杂耍学博士”香农

2017 第8卷第1期 数学文化 19

en of Mathematics 数学人物M

著作等身、成就卓然。另一位为《数学文化》写过文章的大陆工程系教授，也

是名校响当当的数学博士。我曾在一次演讲稿中用排比句描绘了好的工程学家：

既如工程师具备现实主义针对性，

又像数学家充满浪漫主义想象力，

既保持工程科学一丝不苟的传统，

又崇尚数学思维海阔天空的探索。

既行使“拿来主义”的天赋权利，

又充满“归纳提高”的创新意识。

既对实际问题对症下药一展良方，

又能抽象提高顶天立地上下求索。

一言以蔽之，好的工程学家应该是一位有敏锐数学头脑的工程师。香农从

求学到创造，给我们最大的启示就是，我们工程学院的教育应该多重视数学思

维的逻辑训练，我们正在求学的未来工程师应该去数学系修一些充满抽象语言

的“无用数学”。

写于美国哈蒂斯堡 (Hattiesburg) 2016 年 10 月 30 日

香农获得的电机电子工程师学会最高奖奖章

作者简介 ：丁玖， 南密西西比大学数学系教授， 本刊编委。

香农手稿