机器学习：常见的损失函数

• 损失函数简要介绍
• 0-1损失
• 绝对值损失
• log对数损失函数
• 平方损失函数
• 指数损失函数
• Hinge损失函数

损失函数

• 用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
• 损失函数分为经验风险损失函数和结构风险损失函数。
• 经验风险损失函数指预测结果和实际结果的差别。

• 结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：
  

  image.png

0-1损失函数

• 0-1损失是指，预测值和目标值不相等为1，否则为0

  
  
  

  image.png
• 感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|
  

  image.png

绝对值损失函数

image.png

log对数损失函数

• log损失函数的标准形式

  
  
  

  image.png
• 逻辑斯特回归的损失函数就是对数损失函数

平方损失函数

指数损失函数

• 指数损失函数的标准形式：

  
  
  

  image.png
• AdaBoost就是一指数损失函数为损失函数。

Hinge损失函数

• Hinge函数的标准形式：

  
  
  

  image.png
• y是预测值，在-1到+1之间，t为目标值（-1或+1）。
  其含义为，y的值在-1和+1之间就可以了，并不鼓励|y|>1，即并不鼓励分类器过度自信，让某个正确分类的样本的距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的分类误差。

参考资料：
https://blog.csdn.net/weixin_37933986/article/details/68488339