机器学习笔记（十）-支持向量机（SVM）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。作者能力有限，如有错误等，望联系修改，非常感谢！

---

第一版       2022-03-15        初稿

---

一、优化目标

我们从逻辑回归展示




最后有别于逻程回归输出的概率。在这里，我们的代价函数，当最小化代价函数，获得参数θ时，支持向量机所做的是它来直接预测y的值等于1，还是等于0。因此，这个假设函数会预测 1。当θ^Tx大于或者等于0时，或者等于0时，所以学习参数日就是支持向量机假设函数的形式。那么，这就是支持向量机数学上的定义。

二、大边界的直观理解

这是支持向量机模型的代价函数


数据集有正样本和负样本，则此数据集是线性可分的。

两条蓝线表现比黑线差，黑色决策界和训练样本有更大的最短距离，这个距离叫做SVM的间距，这是SVM具有鲁棒性的原因。因此SVM有时叫做大间距分类器。

如上图左，学习算法会受异常点的影响。

回顾C=1/λ：
C较大时，相当于λ较小，可能会导致过拟合，高方差
C较小时，相当于λ较大，可能会导致低拟合，高偏差

三、大边界分类背后的数学（选）

内积向量：
$$u^{T}v$$
$$||u||=\sqrt{u_1^2+u_2^2}$$
上式表示u的范数，即u的长度，即向量u的欧几里得长度。
p是v投影到向量u上的长度，u^Tv=p||u||，其中p可能是正值可能是负值。

支持向量机做的全部事情，就是极小化参数向量θ范数的平方，或者说长度的平方

θ_0=0的意思是让决策界通过原点。

四、核函数1

这里是一个高斯核函数。



这样，图中红色的封闭曲线所表示的范围，便是我们依据一个单一的训练实例和我们选取的地标所得出的判定边界，在预测时，我们采用的特征不是训练实例本身的特征，而是通过核函数计算出的新特征f1，f2，f3。

五、核函数2

我们通常是根据训练集的数量选择地标的数量，即如果训练集中有m个实例，则我们选取m个地标，并且今：l⁽¹⁾ =x⁽¹⁾,…,l^(m)=x^(m)。这样做的好处在于：现在我们得到的新特征是建立在原有特征与训练集中所有其他特征之间距离的基础之上的。


最小化SVM的代价函数的方法，可用现有的软件包（如liblinear，libsvm等），使用高斯核函数前，特征缩放是必要的。
不用核函数则称为线性核函数(linear kernel)

六、使用SVM

除了1.高斯核函数之外，还可以选择：
2.多项式核函数（polynomial kernel）
3.字符串核函数（string kernel）
4.卡方核函数（chi-square kernel）
5.直方图交集核函数（histogram intersection kernel）…
这些和函数的目标都是 根据训练集和地标之间的距离来构建新特征。

^{1 2 3}

---

1. 机器学习-吴恩达 ↩︎

2. 机器学习-李宏毅 ↩︎

3. 机器学习-周志华 ↩︎