机器学习-损失函数汇总

在统计学习中，当有了模型的假设空间，则需要考虑通过什么样的准则学习或选择最优的模型，然而需要引入损失函数与风险函数的概念。

   损失函数是度量模型一次预测的好坏；

   风险函数是度量平均意义下模型预测的好坏；

0-1损失函数：

使用0-1损失函数时，实质就是通过比较预测值与真实值的符合是否相同；

log对数损失函数（logistic回归）

log损失函数的标准形式：

在logistic回归中，首先假设样本服从伯路利分布(0-1)，然后求取该分布的极大似然估计，在求取极大似然估计的时候对函数进行取对数。

利用已知的样本分布，找到最优可能导致这种分布的参数值w；

上文中提到的是指：样本X在分类Y的情况下，使概率P（Y|X)能够达到最大值；

又因为log函数是单调递增的函数，所以log P(Y|X)同样会取到最大值，然而加负号，意味着可以取到最小值；

在logistic分布中；X的分布函数和密度函数为:

然而，逻辑回归的P(Y=y|x)的表达式为：

当y=1时：

当y=0时，

似然函数表达式为：

对数似然损失函数表达式为：

再强调一下，因为log 是单调递增函数，说以这个式子可以求取L（w)的极大值，得到w的估计值；

接下来是，逻辑回归最后得到的目标式子如下：

Hinge损失函数（SVM)    

Hinge损失函数的标准形式为:(二分类的情况）

y 为预测值(-1,1)之间， t为目标值+1，-1

SVM的损失函数目的：使SVM分类器在正确分类上的得分始终比不正确分类上的得分高出一个边界值；

     表示数据集中第 i 个数据中包含的像素； 表示正确类别的标签；

类别的分值计算公式：

然而第 j 个类别的估测得分将表示为：

损失函数定义为：

当 > 0 ，L则为z 反之，则为 0；

在SVM中，最优化问题则转化为下列式子：

而目标函数中的第一项是经验损失，正为上文中讲到的Hinge 损失函数；

第一项的取值，取决于是否大于1，大于1，则损失为0

      反之，则损失为

第二项是系数为的w的L2范数，是正则化项；

指数损失函数（Adaboost)

在Adaboost算法中，该算法是一个前向分步加法算法的特例，是一个加和模型，损失函数为指数函数

指数损失函数的标准形式为：

当给定n个样本时的损失函数为：

接下来，我们学习Adaboost算法中的损失函数，当Adaboost经过 m 次迭代后，得到的函数为：

其中，为Gm(x)的系数，为基本分类器；

由此带入上式可得：

实质上每次迭代的目的就是寻找参数使得式子最小化；

平方损失函数（最小二乘法）

平方损失函数的标准形式为：

当样本个数为 n 时，损失函数则为：

真实值与估测值之间的差距，我们就是要力求差距最小化