SVM系列第十一讲--损失函数

我们的SVM算法在前面的十讲中已经基本介绍完毕了，现在还剩下两个小问题，一个是SVM的损失函数问题，一个是求解α的SMO算法。这一讲我们先来介绍一下SVM的损失函数。

1、Hinge损失函数

首先我们来看什么是合页损失函数（hinge loss function）：

hinge loss function

下标”+”表示以下取正值的函数，我们用z表示中括号中的部分：

也就是说，数据点如果被正确分类，损失为0，如果没有被正确分类，损失为z。
合页损失函数如下图所示：

2、SVM损失函数

SVM的损失函数就是合页损失函数加上正则化项：

损失函数