交叉熵损失函数(softmax分类器)

对于训练集中第 i i i张图片数据 x i x_i xi,在 W W W下会有一个得分结果向量 f y i f_{y_i} fyi,则损失函数几座 L i = − l o g ( e f y i ∑ j e f j ) L_i=-log(\frac{e^{f_{y_i}}}{\sum_j e^{f_j}}) Li=log(jefjefyi)
或者
L i = − f y i + l o g ∑ j e f i L_i=-f_{y_i}+log\sum_{j}{e^{f_i}} Li=fyi+logjefi
实际工程中一般这么计算:
f y i ∑ j e f j = C e f y i C ∑ j e f j = e f y i + l o g C ∑ j e f j + l o g C \frac{f_{y_i}}{\sum_je^{f_j}}=\frac{Ce^{f_{y_i}}}{C\sum_{j}e^{f_j}}=\frac{e^{f_{y_i}}+logC}{\sum_{j}e^{f_j+logC}} jefjfyi=CjefjCefyi=jefj+logCefyi+logC

你可能感兴趣的:(损失函数)