交叉熵

交叉熵_第1张图片
KL重合度高接近0,H§不稳定熵接近0

P= Q散开的程度DKL = 0

对于One-hot: − ∑ p l o n g p -\sum plongp plongp,1log1= 0,即求 H ( p , q ) = H ( p ) + D ( p ∣ q ) H(p,q)= H(p) + D(p|q) H(p,q)=H(p)+D(pq)=DKL (p||q),当p=q时,D->0.p,q分别为预测以及样本分布概率函数

交叉熵_第2张图片
交叉熵_第3张图片

在这里插入图片描述
从上图看出Q1=[0.98,00.1,0,0,0.01],H->0,此时Pθ ->Pr
交叉熵_第4张图片

  • sigmod会出现饱和的情况,梯度离散。
  • CE收敛较比之收敛更快。
  • cross-entroy不行的情况下可以考虑MES,原因在于梯度求导简单。

pytorch实现

交叉熵_第5张图片
注:F.cross_entropy包括softmax+log+null_loss

你可能感兴趣的:(深度学习)