信息量 Amount of Information、熵 Entropy、交叉熵 Cross Entropy、KL散度 KL Divergence、交叉熵损失函数 Cross Entropy Loss
1、信息量AmountofInformation信息量:衡量事件发生的难度有多大小概率事件,它发生的难度比较大,所以有较大的信息量大概率事件,它发生的难度比较小,所以有较小的信息量信息量公式:I(x):=log2(1p(x))=−log2(p(x))I{(x)}:=log_2(\frac{1}{p_{(x)}})=-log_2(p_{(x)})I(x):=log2(p(x)1)=−log2(p(x