机器学习07-支持向量机（SVM）

优化目标

在逻辑回归中，损失函数定义为：

$$J(\theta )=-ylog\frac{1}{1+e^{-{\theta }^{T}x}}-(1-y)log(1-\frac{1}{1+e^{-{\theta }^{T}x}})$$

当 y = 1 和 y = 0 时，代价函数曲线分别为：

此时若将代价函数曲线稍作修改（如上图粉红色曲线）且分别定义为 $cos{t}_1(z)$ 和 $cos{t}_0(z)$，则可构建支持向量机的代价函数：

$$J(\theta )=mi{n}_{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

在逻辑回归中，代价函数定义为：

$$J(\theta )=mi{n}_{\theta }\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}(-log{h}_{\theta }(x^{(i)}))+(1-y^{(i)})(-log(1-h_{\theta }(x^{(i)})))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

对比两条式子，可以发现：

• $J_{SVM}(\theta )$ 少了 $\frac{1}{m}$，我们可以看做是 $J_{SVM}(\theta )$ 是 $J_{logistics}(\theta )$ 的 m 倍。而一个式子乘以 m ，其最小值并不会改变，例如：

  • $mi{n}_u((u-5{)}^2+1)\to u=5$
  • $mi{n}_u(10(u-5{)}^2+10)\to u=5$

• 少了正则化参数 $\lambda$ ,式子前面多了常数 C。事实上，参数 $\lambda$ 只是为了平衡两个项之间的关系，从某种意义上来说 $A+\lambda B$ 与 $CA+B$ 是一样的，参数 $\lambda$ 和 C 都是为了平衡 A 与 B 的关系。

此外，与逻辑回归不同的是，SVM并不会输出预测概率，而是通过优化参数 $\theta$，直接预测 y 的值，即：

$$h_{\theta }(x)=\{\begin{array}{l}1if{\theta }^{T}x\ge 0\\ 0otherwise\end{array}$$

---

直观上对大间隔的理解

支持向量机的代价函数为：

$$J(\theta )=mi{n}_{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

从下图可以看到，当标签 y = 1 时，我们想要${\theta }^T{x}^{(i)}\ge 1$ 。
当标签 y = 0 时，我们想要 ${\theta }^T{x}^{(i)}\le -1$ 。

而事实上，当 ${\theta }^T{x}^{(i)}\ge 0（y=1）$ 或 ${\theta }^T{x}^{(i)}\le 0（y=0）$ 时就能确保正确分类。但是SVM对此有更高的要求，不是刚好能正确分类就行。令 ${\theta }^T{x}^{(i)}\ge 1（y=1）$和 ${\theta }^T{x}^{(i)}\le -1(y=1)$ 就相当于给SVM构建了一个安全间距。

现在，假设 C 是一个非常大的值，我们要在SVM上优化代价函数，此时可以把问题看做是通过优化参数 $\theta$ ，使得代价函数第一项为0，此时 $J(\theta )=mi{n}_{\theta }\frac{1}{2}{\sum }_{i=1}^n{\theta }_j^2$，受以下条件限制：
$$\{\begin{array}{l}{\theta }^T{x}^{(i)}\ge 1if{y}^{(i)}=1\\ {\theta }^T{x}^{(i)}\le -1if{y}^{(i)}=0\end{array}$$

具体的，对于以下数据集，逻辑回归的决策边界可能会是紫色和绿色线，但是SVM会选择黑色线，因为黑色线离正负样本的最小矩离更大，相比之下，紫色和绿色线离样本的最小距离很小，在分离样本时，他们的表现会比黑色线差。黑色线到两条蓝色线的距离称作支持向量机的间距。这使得SVM具有鲁棒性，因为它在分离数据时，会尽量用大的间距去分离。因此SVM也称作大间距分类器。

---

大间距分类的数学原理

向量内积相关知识

假设有两个向量 $u=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]，v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$，则 u 与 v 的内积 $u^{T}v$ 如何计算？

将向量 u 和 v 在图上画出：

u 的范数 $||u||=\sqrt{u_1^2+u_2^2}$

将 v 投影到 u 上，计算其长度为 p。注意：p 是有方向的，当 u 与 v 的夹角小于 $90^{\circ }$ 时，$p>0$，当 u 与 v 的夹角大于 $90^{\circ }$ 时，$p<0$。

则 $u^{T}v=p\cdot ||u||=u_1{v}_1+u_2{v}_2$
$u^{T}v=v^{T}u$，所以也可以把 u 投影到 v 上

数学原理推导

$$J(\theta )=mi{n}_{\theta }\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

为了方便，我们令 ${\theta }_0=0$（即决策边界过原点）,n = 2,则：

$$J(\theta )=mi{n}_{\theta }\frac{1}{2}({\theta }_1^2+{\theta }_2^2)=mi{n}_{\theta }\frac{1}{2}(\sqrt{{\theta }_1^2+{\theta }_2^2}{)}^2=mi{n}_{\theta }\frac{1}{2}||\theta |{|}^2$$

类似于 $u^{T}v$，${\theta }^T{x}^{(i)}$可看做 $x^{(i)}$ 到 $\theta$ 的投影，${\theta }^T{x}^{(i)}=p^{(i)}\cdot ||\theta ||={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}$

所以：
$$J(\theta )=mi{n}_{\theta }\frac{1}{2}\sum _{i=1}^n{\theta }_j^2=mi{n}_{\theta }\frac{1}{2}||\theta |{|}^2$$受以下条件限制：
$$\{\begin{array}{l}{p}^{(i)}\cdot ||\theta ||\ge 1if{y}^{(i)}=1\\ p^{(i)}\cdot ||\theta ||\le -1if{y}^{(i)}=0\end{array}$$

下图数据集，假设SVM选择左边的决策边界，此时距离决策边界较近的点投影到 $\theta$ 的距离 $p^{(i)}$很短，根据 $p^{(i)}\cdot ||\theta ||\ge 1$ 可得需要较大的 $||\theta ||$ ，这与$J(\theta )=mi{n}_{\theta }\frac{1}{2}||\theta |{|}^2$ 矛盾，所以SVM不会选择左边的决策边界。

事实上，上图中，$\theta$ 与决策边界是垂直的，因为决策边界为 ${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2=0$（为了简便，这里取 ${\theta }_0=0$），斜率为 $\frac{x_2}{x_1}=-\frac{{\theta }_1}{{\theta }_2}$，而 $\theta$ 的斜率为 $\frac{{\theta }_2}{{\theta }_1}$，故两者垂直。

---

核函数1

对于一个数据集，如果假设函数：

$${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2\ge 0$$

成立，则预测 $y=1$

我们知道，这些高阶项是获得更多特征的方式，但是我们可以有很多不同的特征选择，或者可能存在比这些高阶多项式更好的特征，因为我们并不知道这些高阶项是不是我们真正需要的。因此我们是否有不同或更好的特征的选择来嵌入到假设函数中？

我们引入一些新的符号：

$${\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3+...$$

这里 $f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,...$

有一个可以定义新特征的方法，在这里只使用 $f_1,f_2.f_3$ 三个特征，但在实际中可以选择的特征是非常多的。

对于 $x_1,x_2$ （忽略$x_0$），标记三个点 $l^{(1)},l^{(2)},l^{(3)}$

给定一个实例 x，特征 $f_1,f_2,f_3$ 定义为：
$$f_1=similarity(x,l^{(1)})=k(x,l^{(1)})=exp(-\frac{||x-l^{(1)}|{|}^2}{2{\sigma }^2})$$

$$f_2=similarity(x,l^{(2)})=k(x,l^{(2)})=exp(-\frac{||x-l^{(2)}|{|}^2}{2{\sigma }^2})$$

$$f_3=similarity(x,l^{(3)})=k(x,l^{(3)})=exp(-\frac{||x-l^{(3)}|{|}^2}{2{\sigma }^2})$$

我们把 $k(x,l^{(i)})$ 叫做核函数，这里使用的核函数是高斯函数。

为什么核函数有用

$$f_1=similarity(x,l^{(1)})=k(x,l^{(1)})=exp(-\frac{||x-l^{(1)}|{|}^2}{2{\sigma }^2})=exp(-\frac{{\sum }_{j=1}^n(x_j-l_j^{(1)}{)}^2}{2{\sigma }^2})$$

当 $x\approx l^{(1)}$ ：

$$f_1\approx exp(-\frac{0}{2{\sigma }^2})\approx 1$$

如果 x 远离 $l^{(1)}$：

$$f_1=exp(-\frac{(largenumber{)}^2}{2{\sigma }^2})\approx 0$$

举个例子：

$$l^{(1)}=\left[\begin{array}{c}3\\ 5\end{array}\right]（忽略x_0），f_1=exp(-\frac{||x-l^{(1)}|{|}^2}{2{\sigma }^2})$$

对于不同的 $\sigma$（$\sigma$ 为高斯核函数的参数），当$\sigma$ 越大，$f_1$ 下降到 0 的速度越慢。

实例：

当 x（图中玫红色的点）靠近 $l^{(1)}$，$f_1\approx 1,f_2=0,f_3=0,{\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3=-0.5+1=0.5\ge 0$，预测为 1。
当 x（图中蓝色点）远离 $l^{(1)},l^{(2)},l^{(3)},l^{(1)}，f_1\approx 0,f_2=0,f_3=0,{\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3=-0.5<0$，预测为0.

---

核函数2

给定一个数据集，我们应该如何确定标记点 $l^{(i)}$？

我们可以选择数据集中的每一个点（可以来自训练集、验证集或测试集）作为标记点，即令：

$$l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},...,l^{(m)}=x^{(m)}$$

对于训练样本 $(x^{(i)},y^{(i)})$，有：

$$f_1^{(i)}=sim(x^{(i)},l^{(1)})$$

$$f_2^{(i)}=sim(x^{(i)},l^{(2)})$$

$$⋮$$

$$f_i^{(i)}=sim(x^{(i)},l^{(i)})=exp(-\frac{0}{2{\sigma }^2})=1$$

$$⋮$$

$$f_m^{(i)}=sim(x^{(i)},l^{(m)})$$

$$f^{(i)}=\left[\begin{array}{c}{f}_0^{(i)}\\ f_1^{(i)}\\ ⋮\\ f_m^{(i)}\end{array}\right]$$

训练：
$$J(\theta )=mi{n}_{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

SVM参数

$C(=\frac{1}{\lambda })$：很大：低偏差，高方差（过拟合）

很小：高偏差，低方差（欠拟合）

${\sigma }^2$：很大：变化平缓，高偏差，低方差

很小：变化迅速，低偏差，高方差

---