信息论的10条口诀-吴军

一、信息量：用来消除信息熵，也就是不确定性。——试着消减语句中的不必要成分，不影响意思的理解。最终的结果是信息量最大的。

二、冗余度：对信息是否“密集”的描述。冗余度大就是废话多。——没有冗余度，就难以理解。因此口语中重复多，方便听的人从多方收集信息确定内容。

三、哈夫曼编码：为保证传递的信息最短，在对信息编码时，要把最短的符号给出现概率最大的信息。——语言中，越是常用字越简单。专有名词都较长、复杂。本质就是把最宝贵的资源给最容易成功的项目。

四、信息“正交”——同一维度的信息重合度高，用起来没有效果。而相互垂直的正交信息更有用。——兼听则明，偏听则暗。

五、结论要交叉验证：利用不同维度的正交信息交叉验证，可以有效降低不确定性。——单一信息源不可信。诈骗电话就是让你不能从别处获得信息来验证。

六、置信度：足够的数据量才能保证足够高的置信度。——要向适合领域的高手请教他熟悉领域的问题。

七、互信息：衡量信息间的强相关。——共同点越多，越容易建立信任，交易成本约低。

八、信道：超过容量就会出错。——和道路一样，有最合适的流量。堵车更慢。

九、抗噪能力：噪音是固有的，在有噪音的情况下，能把有用信息找出来、处理好。——成功的企业似乎总能走在正确的道路上。看似简单，其实很难。

十、最大熵模型：把已知信息全部用掉，在没有得到新的信息前，不要做任何主观假设。——克服主观，单纯效益最大。