机器学习吃瓜（西瓜、南瓜书）笔记 task05-第六章支持向量机

6.1.算法原理

几何角度，对于线性可分的数据集，SVM就是找一个离正负样本都最远的超平面，相比于感知机，其解是唯一的，（感知机只要能分开正负样本即可），且泛化性更好。
现实任务中，线性不可分的情形最常见的，因此要允许支持向量机犯错。

6.2 超平面

一维空间超平面是个点
二维空间是个线
三维空间是个面
n维空间

不唯一是因为w和b都可等比例缩放。
和法向量同向的那一半是正平面（带进去>0）

证明上图的距离公式

6.3 几何间隔

对于线性可分的数据集来说,当正确分类时,几何间隔等价于颠倒超平面的距离.

数据集X关于超平面的几何间隔为数据集中所有样本点的几何间隔的最小值。

6.3 支持向量机

希望几何间隔达到最大
模型：阶跃函数

所谓的越靠近中央越大是指有很多可以把正负样例分开的超平面，如果都平行的话中间的超平面几何间隔比较大。

策略：转换成带约束的优化问题

无法解出最优解，因为若有最优解w和b，同步放大kb可以得到无数最优解，但最优解只有一个。需要固定分子或分母。


对于优化目标函数是凸函数，约束集合是凸集，该问题为凸优化问题。海塞矩阵可证凸函数。


拉格朗日对偶问题

拉格朗日对偶问题恒为凸优化问题
KTT条件（5个）


对偶问题本质上是最大化问题

什么是对偶问题：原来是min(max)，转换成max(min),且原来的条件转换成变量，原来的变
量转换成条件，还要满足KTT条件。转换的原因是原来的情况不好求解，这样比较好求解。

6.4 软间隔与支持向量回归

6.4.1 算法原理

在现实任务中，线性不可分的情形才是最常见的，因此需要允许支持向量机犯错（异常样本）

6.4.2 软间隔

优化目标+损失（约束条件）

6.4.3 支持向量回归（SVR）

一条线变成一条带子