支持向量机学习小结

支持向量

支撑向量本质是向量，而这些向量却起着很重要的作用，如果做分类，他们就是离分界线最近的向量。也就是说分界面是靠这些向量确定的，他们支撑着分类面。

凸二次规划问题：优化目标函数是二次函数，且是凸函数，约束条件是线性函数。

如果一个线性函数能够将样本分开，称这些数据样本是线性可分的。那么什么是线性函数呢？其实很简单，在二维空间中就是一条直线，在三维空间中就是一个平面，以此类推，如果不考虑空间维数，这样的线性函数统称为超平面。我们看一个简单的二维空间的例子，O代表正类，X代表负类，样本是线性可分的，但是很显然不只有这一条直线可以将样本分开，而是有无数条，我们所说的线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。

通常我们需要求解的最优化问题有如下几类：

(i) 无约束优化问题，可以写为:

​ min f(x);

(ii) 有等式约束的优化问题，可以写为:

​ min f(x),

​ s.t. h_i(x) = 0; i =1, …, n

(iii) 有不等式约束的优化问题，可以写为：

​ min f(x),

​ s.t. g_i(x) <= 0; i =1, …, n

​ h_j(x) = 0; j =1, …, m

对于第(i)类的优化问题，常常使用的方法就是Fermat定理，即使用求取f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。

对于第(ii)类的优化问题，常常使用的方法就是拉格朗日乘子法（Lagrange Multiplier) ，即把等式约束h_i(x)用一个系数与f(x)写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。

对于第(iii)类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与f(x)写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。
 

数学符号总结参考链接：

https://blog.csdn.net/yancr/article/details/87968971

SVM原理及公式推导参考链接：

https://blog.csdn.net/u014433413/article/details/78427574

https://blog.csdn.net/qq_35992440/article/details/80987664?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

https://blog.csdn.net/weixin_39881922/article/details/80244660