信息论的两个定律和一个原理

今天来说说信息论，信息论的创始人是香农，这老兄是一个全才性的科学家，他很年轻的时候啊，就提出了用布尔代数设计数字电路的原理，这成为了后来计算机和其他数字电路设计的基础。布尔代数也是非常有趣，它集合了逻辑学和数学，以后再详细谈一谈。

香浓在二战期间研究火炮的控制和密码学，在这过程中他发现了后来成为信息论的基本概念和框架体系。

香浓的信息论，概括起来，主要是两个定律和一个原理。

香农第一定律叫做信源编码定律，意思是可以将信号源内的符号，也就是信息，变成任何通讯的编码，当这种编码尽量的服从等概率分布时，每个编码所携带的信息量达到最大，进而能提高整个通讯系统的效率。简单的说就是把有限的资源做合理的安排，把最好的资源放在最需要的地方，也就是把钱用在刀刃上。这个第一定律后来影响了硅谷风险投资从而形成“广撒网，继而对好项目追加双倍投入”的投资理念。

香农第二定律是描述了一个信道中的极限信息传输率和该信道能力，也就是带宽的关系。通俗点讲，这个定律的意思就是说如果要传递更多的信息，就要有更高的带宽，我们的上网也就从原来的电话，到ADSL ，后来到了光纤，我们的移动通讯也是从2G到3G再到4G，现在在研发5G，也就是在不断拓宽带宽。拓展带宽的目的就是为了提高传输效率提高信息传输量。现在来看，这好像是个非常浅显的道理，但在香农提出第二定律之前，没人能够意识到这一点。这个定律也影响了组织管理学，层级式管理和网络状管理，在沟通效率，也就是信息传递效率上，哪个带宽更高呢？

香农的最大熵原理，意思是说对未知事件发生的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。这个原理在大数据时代到来之后，对现实的各种分析推算，都非常有指导意义。比如在希拉里和特朗普进美国总统竞选的时候，一些民调，在设计提问时或多或少会加入主观的假设，从而被访者也有意无意的被引导而扭曲了真实意图。但是，广大的百姓在日常的通讯和交流中，在互联网搜索、留言、玩笑、牢骚中才会不受他人影响，没有压力，从而真正表达出他们的真实所想。