【SVM】支持向量机数学公式

目录

SVM公式逻辑

​编辑软间隔-不完全线性可分

核方法-完全线性不可分

---

SVM公式逻辑

Support Vector Machine 是个分类模型，硬间隔hard-margin就是数据在特征空间是完全线性可分的。sign为符号函数。我们设点到分类margin的距离为distance，SVM的核心方法就是找到一个使得最小distance最大的margin。(最小distance的点就是距离margin最近的点)。

max min distance 同时要满足yi·(W^T·xi+b) > 0，因为间隔yi·(W^T·xi+b)是可以缩放大小的，所以我们就将minyi·(W^T·xi+b)设为r=1，即1-yi·(W^T·xi+b)<=0。这样一个带约束的问题解决起来比较麻烦，将它写成拉格朗日乘子的形式，当λi>=0，拉乘子形式就等价于原问题。

又因为是凸二次问题，所以通过强对偶关系将max min 转换成 min max 。

整理一下，整个公式的推导流程如下：带约束->无约束->强对偶->简化，强对偶关系，所以问题得满足KKT条件，通过KKT条件我们得出的间隔就是 yi·(W*^T·xi+b*)，图中yi·(W^T·xi+b)=1的点就是距离margin最近的或者说distance最小的点。

软间隔-不完全线性可分

软间隔soft-margin是指数据不是完全线性可分的，中间会有一些本属于A类却乱入B类圈子的样本，所以我们可以允许一些loss，当然我们也要统计好这些loss有多少，并且最终的最优分类间隔下的loss肯定是最小的。

当有一个点的yi·(W^T·xi+b)<1时，那这个点就是乱入点，loss就设为乱入的距离，yi·(W^T·xi+b)>=1时，loss=0。和hard-margin一样的求解方式。

核方法-完全线性不可分

 除此之外，为了解决完全线性不可分的问题，通过核方法：将低维线性不可分的样本x升至高维样本Φ(x)让其线性可分。但是比如对于SVM问题，对于求解公式中Φ(x i^T)·Φ(xi)计算复杂，所以kernel function核函数是直接求解Φ(x i^T)·Φ(xi)的简便函数。

大家先暂时理解原理，后面kernel function下次再补上。有问题可以留言，相互探讨。