【思维导图】机器学习中熵 信息熵 交叉熵 相对熵的概念一览

熵

信息熵
o概述
信息论中，熵是接受的每条消息中包含的信息的平均值。
可以被理解为不确定性的度量，
熵越大，信源的分布越随机。
历史
香农将热力学中的熵引入信息论
o也叫香农熵。
信息熵是信息量的期望（均值
它不是针对每条信息，而是针对整个不确定性结果集而言，
信息熵越大，事件不确定性就越大。
o相关公式及推演
存储空间
有个除法非常讨厌
取对数是指数的逆操作，
a作为底数，
o 2（处理2bit数据），
o 10（万金油），
oe（处理正态分布相关的数据）
然后把（2-2）带入（2-1）
信息熵其实从某种意义上反映了信息量存储下来需要多少存储空间。
信息熵
熵
oEntropy来源于希腊语，原意：内向
o一个系统不受外部干扰时往内部稳定状态发展的特性。
o一个热力学的系统变化的趋势。
理解基于信息熵的交叉熵和相对熵

o交叉熵
交叉熵的由来

交叉
我们的目的是：
让熵尽可能小，即存储空间小（消除系统的不确定的努力小）。
o更加确定
在机器学习中
即用测试结果集（样本结果集）的概率乘以训练出来的结果集存储因子
而在不断的训练过程中，我们要做的就是通过不断调整参数，降低这个值
使得模型更加的稳定，不确定性越来越小，即突出需要表征的数值的特点
o（白话文也就是分类的效果更好）
交叉熵实例

o相对熵
用来衡量两个概率分布之间的差异
用来衡量相似度的量
公式解释
o熵与交叉熵之间的差值
性质
o非负的
熵在机器学习中的应用
o • 在贝叶斯网络中，会假设一个先验分布，目的是为了反映随机变量在观测前的不确定性。在进行模型训练时，减小熵，同时让后验分布在最可能的参数值周围形成峰值。
o • 在做分类任务的参数估计时，尤其是在神经网络中，交叉熵往往作为损失函数用来更新网络权重。
o在树模型算法中，熵的作用也是不可或缺，尤其是在使用ID3信息增益、C4.5增益率时，通过使用熵来划分子节点，从而可以构造出整棵树。
ops
机器学习用的熵公式里面的对数都是以 e 为底

然后把（2-2）带入（2-1）

存储空间

信息熵

用来衡量两个概率分布之间的差异

取对数是指数的逆操作，

有个除法非常讨厌

熵

交叉

参考文献：

1. https://mp.weixin.qq.com/s?src=11×tamp=1575957507&ver=2025&signature=nlC3kao1WgGWp8x3EMmP-SHgxh5CxG8D9Tyv1jYf7zQW74dq3oB9S3NAy1KaH1050EwWNxjXXueotPY7HlYU2V83moLQv2v6lm9EHLtp6DNI*Ots1bUssl1if7u9dj&new=1
2. https://mp.weixin.qq.com/s?src=11×tamp=1575954447&ver=2025&signature=yZ742SYx7FauP-ddsm0JxXzpKraaRKQXEHzRse–t6FHuZeinL-Oc9oQvLq-n2cNCbwu3sJTMTySIyHwx7yKs7RGzkQH3plIjcnOjMT8HEBstTehk7t4rffsWN2pZ57y&new=1
3. https://medium.com/swlh/shannon-entropy-in-the-context-of-machine-learning-and-ai-24aee2709e32
4. http://mp.weixin.qq.com/s?__biz=MzU1MTk1MzU0Nw==&mid=2247485438&idx=1&sn=c1371071541e0cedc1339a9ecda4ed73&chksm=fb88321accffbb0cfa9d96581d8abf48742d0cbc97e310276fc8cdd53b2312b9df06edbe6d97&mpshare=1&scene=1&srcid=&sharer_sharetime=1576512412656&sharer_shareid=a12c15ddef863cf656d340c52b1b88f5#rd