机器学习中的交叉熵

交叉熵公式

p和q是两个概率分布。其中xi是取值的可能，在机器学习中，xi为样本的某一个类别的可能，n为类标的数量。p(xi)为样本取值为xi的真实概率，q(xi)表示样本取值为xi的预测概率。例子如下：

多分类例子

对于特殊的二分类来说：假设样本取值为1的真实概率为p(1)=p，样本取值为1的预测概率为q(1)=q。

则此时的交叉熵损失为loss = -(p*log(q)+(1-p)*log(1-q))

参考自：https://blog.csdn.net/tsyccnh/article/details/79163834