深度学习基础入门篇[五]:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测
1.交叉熵损失函数在物理学中,“熵”被用来表示热力学系统所呈现的无序程度。香农将这一概念引入信息论领域,提出了“信息熵”概念,通过对数函数来测量信息的不确定性。交叉熵(crossentropy)是信息论中的重要概念,主要用来度量两个概率分布间的差异。假定p和q是数据x的两个概率分布,通过q来表示p的交叉熵可如下计算:H(p,q)=−∑xp(x)logq(x)H\left(p,q\right)=-