对数损失函数与最大似然损失函数

1,最大似然损失函数(Likelihood loss)

常用在分类问题上。形式上是把每一个预测值的概率相乘,得到一个损失值。
例如:对一组样本的预测为True(1)概率为[0.4, 0.6, 0.9, 0.1],它们的真实值分别为[0, 1, 1, 0],则损失值为 0.6 ∗ 0.6 ∗ 0.9 ∗ 0.9 = 0.2916 0.6*0.6*0.9*0.9=0.2916 0.60.60.90.9=0.2916,对于真实值为False(0)的情况,要用(1-p)。

2,对数损失函数(Log loss)

也叫Cross Entropy Loss。与最大似然一样在分类问题中用的较多。形式为
− y ∗ l o g ( p ) − ( 1 − y ) ∗ l o g ( 1 − p ) -y*log(p)-(1-y)*log(1-p) ylog(p)(1y)log(1p),
对于二分类问题,y取值为0或1,p为预测结果为y的概率,log为自然对数。
此函数对误差大的结果惩罚很大,预测准确度与log loss的关系图如下:
对数损失函数与最大似然损失函数_第1张图片

Reference

https://blog.algorithmia.com/introduction-to-loss-functions/
http://neuralnetworksanddeeplearning.com/chap3.html

你可能感兴趣的:(机器学习)