信息熵,相对熵,交叉熵, 条件熵

信息熵:表示分布的不确定性
随机变量的取值个数越多,状态数也就越多,信息熵就越大,混乱程度就越大。当随机分布为均匀分布时,熵最大
在这里插入图片描述
相对熵:有两个分布p,q,其中p为真实数据分布,q为相似的分布,那么相对熵就是两个分布之间的距离
信息熵,相对熵,交叉熵, 条件熵_第1张图片
交叉熵:用非真正的数据分布q来进行求解熵(基于原始分布P概率)
在这里插入图片描述

可见,交叉熵-信息熵=相对熵

条件熵:
条件熵 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望:

你可能感兴趣的:(信息熵,相对熵,交叉熵, 条件熵)