SVM损失函数

SVM损失函数

支持向量机（SVM）是90 年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。
这里说到的风险就是损失函数，下面让我们来一起了解以下SVM的损失函数。
1.Hinge损失函数
Hinge损失函数又称合页损失函数（hinge loss function）

下标”+”表示以下取正值的函数，我们用z表示中括号中的部分：

也就是说，数据点如果被正确分类，损失为0，如果没有被正确分类，损失为z。
合页损失函数如下图所示：

2.SVM损失函数
SVM的损失函数就是合页损失函数加上正则化项：