信息熵

机器学习是个熵降的过程
一个具体事件的信息量应该是随着其发生概率而递减的，且不能为负。

信息量

• 信息量和信息熵
• 信息量，熵，交叉熵，相对熵与代价函数

如果我们有俩个不相关的事件x和y，那么我们观察到的俩个事件
同时发生时获得的信息应该等于观察到的事件各自发生时获得的 信息之和
即：h(x,y) = h(x) + h(y)

熵就是信息量的期望

随机变量的不确定度的度量。
方法一：符号种类数量越小，信息熵越小
方法二：各符号出现的概率越不均等，信息熵越小

熵

熵越大，数据的不确定性越高（粒子非常活跃）
熵越小，数据的不确定性越低（粒子趋向禁止）

条件熵：试卷泄题条件下，能通过的概率是多少？

条件熵

给定一个随机变量能消除另一个随机变量的不确定性

互信息

X、Y可以互换， H(X) - H(X|Y) = H(Y) - H(Y|X)

交叉熵

• 唯心主义vs唯物主义者
• 自己的价值观，学习真实的世界（自己心里的概率，去评估世界上真实的概率）
• 自己的估计和真实世界相比，多大的信息量
• 如何通俗的解释交叉熵与相对熵?

交叉熵

人的估计，比真实世界更加紊乱

在图像分类的过程中，如猫狗分类，分类交叉熵定义成：
H(p, q) = p_cat * log(q_cat) - p_dog * log(q_dog)

一张图片上画了一只猫：
p_cat = 1
p_dog = 0

如果我的预测期：
q_cat = 0.2
q_dog = 0.8

H(p, q) = -1 * log(0.2) - 0 * log(0.8)
= -1 *log(0.2) = -log(0.2) = log(5)

对于分类模型的交叉熵 = -log(q_label) -->  分类的Loss函数

相对熵

理想与现实中的差距

对于一张图片上画了一只猫的真实的熵本身是多少？ --- 0

H(p, q) - H(p) = D(p||q)

自然存在的熵=0