2022-01-21

信息的度量

克服不确定性（混乱状态）的多少。

应用

克服的不确定性越多，信息量越大。反过来讲，状态越混乱，需要的信息量越大。

信源熵：

H(X) ={x1,    x2,    x3

- p(x1),p(x2),p(x3)

- }

遇到任何问题，先进行模型抽象。

x1 的自信息量是 I（x1）=log p(x1)

H(X) = p(x1)logp(x1) +  p(x2)logp(x2) + p(x3)logp(x3)

应用：

为什么刘强东在美国嫖娼被捕这条消息的信息量会很大？

正常来讲，刘强东在人们的眼中是优秀企业家形象，嫖娼被捕的概率极低。

H（刘强东的状态）{ 正常，嫖娼被捕

- p(正常）=90%，p(嫖娼被捕）=10%

- }

虽然H（刘强东的状态）的信源熵很小，但是I（嫖娼被捕）这个事件的自信息量巨大，所以一旦发生给接受者的信息量就越大。

这也是新闻从业者或者自媒体喜欢报道 新奇独立小概率新闻的原因。

给我们工作生活有哪些启发？

我们要做的工作，应该倾向于做哪些难而正确的事情，这也是链家网左晖先生在生前创业的理念。

从信息论的角度来讲，难而正确的事情，发生的概率比较低，但是一旦发生，带来的信息量很大。

我们和人交流，以及做演讲，一定要讲对听众来说是信息增量的事情，讲听众已知的事情，信息量为0。