【2018-09-23】支持向量机SVM

       SVM算法的原理是找到一个分割超平面，该平面能把数据集正确的分类，并且间距最大。距离超平面最近的点称为支持向量。

支持向量机

目标函数推导：

        当数据集线性不可分时，引入松弛系数（大部分样本满足最大间距规则，少量的数据样本不满足），相应的约束条件为：

此时，目标函数为：

        松弛系数类似于逻辑回归问题里的正则项，目的都是为了纠正过拟合的问题。

        拉格朗日乘子法是解决约束条件下，求函数极值的理想方法。引入非负系数α作为约束条件的权重：

通过求偏导，求解α和w的关系：

求L对b 的偏导：

代入L：

将w代入目标函数：

核函数：

向量内积（物理含义：衡量两个向量的相似性）

常见的核函数：