西瓜书第六章阅读笔记

本章内容是结合了西瓜书和Datawhale的讲解视频两者的内容，再按自己的思路做的笔记

1、先导知识

1.1 超平面

  超平面的知识在上一章神经网络中有介绍过，这里再简单的重复一下。
  对于$n$维空间的超平面$({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0,其中\mathbf{w},\mathbf{x}\in {\mathbb{R}}^{\mathbf{n}})$：

• 超平面方程不唯一：如方程左右同时乘以一个不为零的常数
• 法向量$w$垂直于超平面
• 法向量$w$和位移项$b$确定唯一一个超平面
• 法向量$w$指向的那一半空间为正空间，另一半为负空间
• 任意点$\mathbf{x}$到超平面的距离公式为：$$r=\frac{|{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b|}{||w||}$$

1.2 几何间隔

  对于给定的数据集$X$和超平面${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$，定义数据集$X$中的任意一个样本点$({\mathbf{x}}_{\mathbf{i}},y_i),y_i\in -1,+1,i=1,2,...,m$关于超平面的几何间隔为$${\gamma }_i=\frac{y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}{||\mathbf{w}||}$$
  正确分类时，$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)=|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b|>0$，即此时${\gamma }_i>0$且等价于点到超平面的距离；
  错误分类时，$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)=|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b|<0$，即${\gamma }_i<0$。

  对于给定的数据集$X$和超平面${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$，定义数据集$X$关于超平面的几何间隔为：数据集$X$中所有样本点的几何间隔最小值$$\gamma =\underset{i=1,2,...,m}{\min }{\gamma }_i$$

1.3 拉格朗日对偶

  对于一般的约束优化问题：$$$\begin{array}{rl}min& f(x)\\ s.t.& g_i(x)\le 0,i=1,2,...,m\\ & h_j(x)=0,j=1,2,...,m\end{array}$$
  当$g_i(x)$是凸函数，$h_j(x)$是线性函数时，约束集合就是凸集。而若目标函数$f(x)$是凸函数且约束集合是凸集时，则上述优化问题为凸优化问题。而支持向量机的引出的优化问题 满足凸优化问题的条件。
  对于一般的约束优化问题（不一定是凸优化问题）：$$$\begin{array}{rl}min& f(x)\\ s.t.& g_i(x)\le 0,i=1,2,...,m\\ & h_j(x)=0,j=1,2,...,m\end{array}$$
  设上述问题的定义域为$D=\mathbf{dom}f\cap \underset{i=1}{\overset{m}{\cap }}\mathbf{dom}{g}_i\cap \underset{j=1}{\overset{n}{\cap }}\mathbf{dom}{h}_j$，可行集为$\tilde{D}=\{x|x\in D,g_i(\mathbf{x})\le 0,h_j\mathbf{x}=0\}$。易知$\tilde{D}为D$的子集，最优值$p^{\ast }=min\{f(\tilde{x})\}$。有拉格朗日函数定义可得上述优化问题的拉格朗日函数为$$L(\mathbf{x},\mu ,\lambda )=f(\mathbf{x})+\sum _{i=}^m{\mu }_i{g}_i(\mathbf{x})+\sum _{j=}^n{\lambda }_j{h}_j(x)$$
  其中$\mu =({\mu }_1,{\mu }_2,...,{\mu }_m{)}^T,\lambda =({\lambda }_1,{\lambda }_2,...{\lambda }_n{)}^T$是拉格朗日乘子向量。
  接下来，定义上述优化问题的拉格朗日对偶函数$\Gamma (\mu ,\lambda )$(其自变量不含$\mathbf{x}$)为$L(\mathbf{x},\mu ,\lambda )$关于$\mathbf{x}$的下确界，即：$$\Gamma (\mu ,\lambda )=\underset{\mathbf{x}\in D}{\inf }L(\mathbf{x},\mu ,\lambda )=\underset{\mathbf{x}\in \mathbf{D}}{\inf }\left(\mathbf{f}(\mathbf{x})+\sum _{\mathbf{i}=1}^{\mathbf{m}}{\mu }_{\mathbf{i}}{\mathbf{g}}_{\mathbf{i}}(\mathbf{x})+\sum _{\mathbf{j}=1}^{\mathbf{n}}{\lambda }_{\mathbf{j}}{\mathbf{h}}_{\mathbf{j}}(\mathbf{x})\right)$$
  对偶函数$\Gamma (\mu ,\lambda )$有以下重要性质：

• 无论上述优化问题是否为凸优化问题，其对偶函数$\Gamma (\mu ,\lambda )$恒为凹函数。（意味着取反后即为凸函数，有较好的数学性质）
• 当$\mu \ge 0$时，$\Gamma (\mu ,\lambda )$构成上述优化问题最优解$p^{\ast }$的下界，即$\Gamma (\mu ,\lambda )\le p^{\ast }$。
    继而，定义满足$\mu \ge 0$这个约束条件下求对偶函数最大值的优化问题为拉格朗日对偶问题（原问题称为主问题）：$$\begin{array}{rl}max& \Gamma (\mu ,\lambda )\\ s.t.& \mu \ge 0\end{array}$$
    该优化问题最优值为$d^{\ast }$，显然$d^{\ast }\le p^{\ast }$，此时称为“弱对偶性”成立；若$d^{\ast }=p^{\ast }$，则称为“强对偶性”成立。所以为了求解$p^{\ast }$,，通过求其对偶问题的$d^{\ast }$来曲线救国。
    最后，设$f(\mathbf{x}),g_i(\mathbf{x}),h_j(\mathbf{x})$一阶偏导连续，${\mathbf{x}}^{\ast },({\mu }^{\ast },{\lambda }^{\ast })$分别为主问题和对偶问题的最优解，若强对偶性成立，则${\mathbf{x}}^{\ast },{\mu }^{\ast },{\lambda }^{\ast }$一定满足下列5个条件，也称KKT条件:$$\begin{array}{c}\{\begin{array}{l}{▽}_{x}L({\mathbf{x}}^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=▽\mathbf{f}({\mathbf{x}}^{\ast })+\sum _{\mathbf{i}=1}^{\mathbf{m}}{\mu }_{\mathbf{i}}^{\ast }▽{\mathbf{g}}_{\mathbf{i}}({\mathbf{x}}^{\ast })+\sum _{\mathbf{j}=1}^{\mathbf{n}}{\lambda }_{\mathbf{j}}^{\ast }▽{\mathbf{h}}_{\mathbf{j}}({\mathbf{x}}^{\ast })=0\\ h_j({\mathbf{x}}^{\ast })=0\\ g_i({\mathbf{x}}^{\ast })\le 0\\ {\mu }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }{g}_i({\mathbf{x}}^{\ast })=0\end{array}\end{array}$$

2、支持向量机

2.1 模型

  给定线性可分数据集$X$，支持向量机模型希望求得数据集$X$关于超平面的几何间隔$\gamma$达到最大的那个超平面，然后接上一个sign函数实现分类功能$$\begin{array}{c}y=sign({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)=\{\begin{array}{ll}1& {\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b>0\\ -1& {\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b>0\end{array}\end{array}$$
  因此支持向量机的本质和感知机一样，仍然是在求一个超平面。那么几何间隔最大的超平面一定是我们想找到的那个“距离正负样本都最远的超平面”吗？是的，原因如下：

• 当超平面错误划分样本时，几何间隔最小的为误分类点，$\gamma <0$。
• 当超平面正确划分样本时，$\gamma \ge 0$，且该超平面越靠近正负样本中央$\gamma$越大。

2.2 策略

  给定线性可分数据集$X$，设$X$中几何间隔最小的样本为$({\mathbf{x}}_{min},y_{min})$，则支持向量机寻找超平面的过程可转化为以下带约束条件的优化问题：
$$\begin{array}{rl}& max\gamma \\ & s.t.{\gamma }_i\ge \gamma ,i=1,2,...,m\end{array}$$
  即：$$\begin{array}{rl}& max\frac{y_{min}({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{min}}+b)}{||\mathbf{w}||}\\ & s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge y_{min}({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{min}}+b),i=1,2,...,m\end{array}$$
  设该问题最优解为$({\mathbf{w}}^{\ast },b^{\ast })$，则$(\alpha {\mathbf{w}}^{\ast },\alpha b^{\ast })，\alpha \in {\mathbb{R}}^{+}$也是最优解而超平面保持不变。所以需要对$\mathbf{w},b$做一定限制才能使得上述优化问题有可解的唯一解。而这里不妨令$y_{min}({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{min}}+b)=1$，因为对于特定的$({\mathbf{x}}_{min},y_{min})$来说，能使得$y_{min}({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{min}}+b)=1$的$\alpha$有且仅有一个，所以上述优化问题进一步转化为：$$\begin{array}{rl}& max\frac{1}{||\mathbf{w}||}\\ & s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m\end{array}$$
  根据解一般优化问题的习惯，方便讨论与计算，将上面的式子进一步转化：
$$\begin{array}{rl}& min\frac{1}{2}{||\mathbf{w}||}^2\\ & s.t.1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\le 0,i=1,2,...,m\end{array}$$
  如此，此优化问题是含不等式约束的优化问题，且可证明是凸优化问题。

2.3 求解算法

  这里采用拉格朗日对偶来求解支持向量机问题。主问题： $$\begin{array}{rl}& min\frac{1}{2}{||\mathbf{w}||}^2\\ & s.t.1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\le 0,i=1,2,...,m\end{array}$$
  其拉格朗日对偶函数：$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}{||\mathbf{w}||}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))\\ & =\frac{1}{2}{||\mathbf{w}||}^2+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}-b\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
  若将$w,b$合并为$\hat{w}=(w;b)$，显然上式时关于$\hat{w}$的凸函数，求其一阶导令其等于0然后待会即可得到最小值，也即拉格朗日对偶函数。
  再根据强对偶性成立推的最优解必须满足如下KKT条件：$$\begin{array}{r}{\alpha }_i\ge 0\\ y_{i}f({\mathbf{x}}_{\mathbf{i}})-1\ge 0\\ {\alpha }_i(y_{i}f({\mathbf{x}}_{\mathbf{i}})-1)=0\end{array}$$

碎念几句：为何支持向量机通常采用拉格朗日对偶求解？

• 无论主问题是何种优化问题，对偶问题恒为凸优化问题，因此更容易求解。
• 支持向量机的优化问题的原始问题的时间复杂度和特征维数呈正比（因为未知量$w$的大小与特征维数相同），而对偶问题是与数据量成正比（因为未知量是$\alpha$）。所以，当特征维数远高于数据量的时候，拉格朗日对偶更高效。
• 对偶问题能很自然地引入核函数，进而推广到非线性分类问题。(主要原因)

3、软间隔与硬间隔

  在实际的任务中，线性不可分的情形才是最常见的，因此可以考虑允许支持向量机犯错。从数学角度看，软间隔就是允许部分样本（但尽可能少）不满足优化问题式子中的约束条件$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1$。因此，可以将必须严格执行的约束条件转化为具有一定灵活性的“损失”——当满足约束条件时，损失为0；当不满足约束条件时，给予一定损失。
  因此，上面推导的优化式子可改写为以下：$$\underset{\mathbf{w},b}{\min }\frac{1}{2}{||\mathbf{w}||}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)-1)$$
  其中${\ell }_{0/1}$是 “0/1损失函数” ：$$\begin{array}{r}{\ell }_{0/1}=\{\begin{array}{l}1,ifz<0\\ 0,ifz\ge 0\end{array}\end{array}$$
  $C$是一个大于0的常数，用来调节损失的权重。当$C⟶+\infty$时，会迫使所有样本的损失为0，进而退化为严格执行的约束条件，即退化为硬间隔。所以，上式也可以视为支持向量机的一般形式。

4、补充

• Datawhale支持向量机视频