机器学习：支持向量机

1、基本概念

决策面：区分两类的超平面；

分类间隔：在保证决策面方向不变且不会出现错分样本的情况下移动决策面，会在原来的决策面两侧找到两个极限位置（越过该位置就会产生错分现象），俩个极限位置垂直距离就是这个决策面对应的分类间隔；

最优决策面：具有“最大间隔”的决策面；

支持样本点：也称支持向量，最优解对应的两侧虚线穿过的样本点；

2、线性SVM

支持向量机_基本数学模型推导：

3、凸优化问题求解方法

• 无约束优化问题：费马定理（求导数，令导数为零）；
• 有等式约束的优化问题：拉格朗日乘子法；
• 有不等式约束的优化问题：KKT条件；

4、求解基本模型

拉格朗日函数：构造一个函数，使得该函数在可行解区域内与原目标函数完全 一致，而在可行解区域外的数值非常大，那么这个没有约束条件的新目标函数的优化问题就与原来有约束条件的原始目标函数的优化问题等价。

求解步骤：

1. 将有约束的原始目标函数转换为无约束的新构造的拉格朗日目标函数；