香农和信息论

 香农和信息论

原文链接：http://blog.c114.net/html/31/48331-5970.html

 

其实写这个题目是很心惊胆战的。这就像一个刚学会怎么运球的小孩在姚明面前讨论篮球一样。今年香农诞生90周年，也许是我为能写这个短文的一点点接口吧，我们要追忆他：）。
Claude Elwood Shannon （1916－2001）一个影响了整个数字通信时代的伟大人物。只是令人奇怪的是他在普通老百姓中的名声还不如Bill这样的商人，也许这就是世人重利的原因吧。因此有必要先简单的介绍一下香农老前辈了。
克劳德·香农，作为信息论的创始人，20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础，信息论及数字通信时代的奠基之父。经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。也许C=Blog2(1+S/N)这个公式让人更好记住香农。这个公式托起了整个数字通信和信息论。他于1916年4月30日诞生于美国密西根州的，幼年在一个叫Gaylord的小镇长大，在密西根大学获得数学与电气工程学士学位（这个我问了很多的同学好像在国内都没这个专业，最近的就是计算机数学了），然后进入大名鼎鼎的MIT攻读研究生，并获得了电气工程硕士学位（那时好像还没有我学的信息工程专业）。
值得一提的是在MIT的时候香农的毕业论文《A Symbolic Analysis of Relay and Switching Circuits》就是一篇划时代的论文。他第一次在还是模拟的电话交换系统中引入的布尔函数，引入了1/0概念，奠定了数字通信的基础。
1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室（大名鼎鼎的BELL LAB）工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。
　　1948年伟大的香农同志为了全世界通信人民的幸福不辛万苦创立了信息论(information theory)。那时毛爷爷也在为全中国人们的幸福而奋斗，看来上世纪40年代是个伟人的天下。1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。其中Weaver只是给这个后辈写了个序。


论文的开头提到这样一段话“The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.”（通信的最基本问题是如何在一点近似或完全的再现另一点的内容。）这篇论文建立了信息论这一学科（于是我大学时有专业可学了:)），提出了通信系统的线性示意模型，即信源、发端、信道、接端、信宿。无论是图像、文字、声音或数据都可以调整成1/0比特流通过信道传送，他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。
　　在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。
　　通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”。

香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵表示传输信息的复杂程度。信息熵大，意味着不确定性也大。并提出H=∑-pi log pi公式，从此信息有了个量化得表现手段，即信息量。

在这不得不提的是香农在和图灵先生一起为美国军方服务时写了《Communication Theory of Secrecy Systems》这篇文章，信息的编码开始被人们重视起来，现在基带传输已经基本没有了，信源的编码变成一个必须的过程。现在大家追求的是如何尽量压缩数据量而不损耗数据质量，比如语音编码从G.711到G.723.1,G.726,G.727,G.729A。还有编码的保密性越来越变得非常重要。



当我还在南邮学习PCM的时候伟大的香农于2001年2月24日离开了我们。他给我们这些通信小辈留下了非常宝贵的财富，开立了信息论和数字通信两大学科，称他为巨匠我像一点也不为过。

最后我想多赘述两句：



香农的荣誉：



克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行沟通无处不在的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举。