07-支持向量机（二）线性支持向量机

1、SVM模型目标函数与优化

上一节中我们得到超平面之间的最大距离公式如下：
m = 2/||w||

接下来入得得到模型的目标函数，如下图所示：

image.png

image.png

image.png

从上面可以看出，通过对w,b极小化以后，我们的优化函数ψ(α)仅仅只有α向量做参数。只要我们能够极大化ψ(α)，就可以求出此时对应的α，进而求出w,b.
对ψ(α)求极大化的数学表达式如下:

image.png

可以去掉负号，即为等价的极小化问题如下：

image.png

只要我们可以求出上式极小化时对应的α向量就可以求出w和b了
可以求出对应的w的值

image.png

求b则稍微麻烦一点。注意到，对于任意支持向量(xx,ys)，都有

image.png

2、线性可分SVM的算法过程

输入是线性可分的m个样本(x1,y1),(x2,y2),...,(xm,ym),,其中x为n维特征向量。y为二元输出，值为1，或者-1.
输出是分离超平面的参数w∗和b∗和分类决策函数。
算法过程如下：
1）、构造约束优化问题

image.png

2）、用SMO算法求出上式最小时对应的α向量的值α∗向量.
3）、计算w*
4）、找出所有的S个支持向量,即满足α>0对应的样本(xs,ys)，通过

image.png

计算出每个支持向量(xx,ys)对应的b∗s,计算出这些

image.png

取平均值：

image.png