算法进阶--SVM原理

支持向量机

分为：

1. 线性可分支持向量机
   – hard margin maximization（硬间隔最大化），所以又称为硬间隔支持向量机
2. 线性支持向量机
   –soft margin maximization（软间隔最大化），所以又称为软间隔支持向量机
3. 非线性支持向量机
   – kernel function（核函数）
   ps.前两种向量机+核函数=非线性（可分）向量机

线性可分SVM

• 目的： 在分类问题中，构建一个平面（直线或者超平面）–该平面为在若干距离直线最近的样本点中选取的距离最远的几个样本点，则目标函数公式化可表示为：
  
• 也就是求：
  

其中，$\Phi x$为某个确定的特征空间转换函数，它的作用是将x映射到(更好的维度)

求解过程：

• 利用拉格朗日乘子法得：（将极小极大问题转为极大极小问题）：

原问题：

转换后：

也就是：

• 将拉格朗日函数 L ( w , b