支持向量机--处理非线性模型

支持向量机–处理非线性模型

如果样本集不是线性可分的，那么我们就不能像上面的处理方式一样求出$w$和$b$。

1.最小化：
$$\{\begin{array}{c}min\frac{1}{2}{\Vert W\Vert }^2+C{\sum }_{i=1}^N{\sigma }_i\cdots (1)\\ s.t.y_i[W^{\top }{\mathbf{X}}_{\mathbf{i}}+b]\ge 1-{\sigma }_i\\ {\sigma }_i\ge 0\end{array}$$
其中，${\sigma }_i$为松弛变量（Slack variable），C为事先设定的参数，i=1~N。此时，$y_i$和$x_i$是已知的，$W$,$b$,${\sigma }_i$是未知的。

2.高维映射$\phi (x)$
$$\underset{低维}{X}\stackrel{\phi }{\to }\underset{高维}{\phi (X)}$$
例：

在上图坐标轴中，存在四个点，这四个点分为两类，我们怎么做才能把他们分开呢？
$$\begin{gathered} X_1=\left[\begin{array}{c}0\\ 0\end{array}\right]\in C_1{X}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]\in C_1 \\ {X}_3=\left[\begin{array}{c}1\\ 0\end{array}\right]\in C_2{X}_4=\left[\begin{array}{c}0\\ 1\end{array}\right]\in C_2 \end{gathered}$$
下面我们令一种映射方式，至于为什么要这么设置，咱后面谈论
φ ( x ) : X = [ a b ] → φ φ ( X ) = [ a 2 b 2 a b a b ] \varphi(x):X=\begin{bmatrix}a \\b\end{bmatrix}\overset{\varphi}{\rightarrow} {\varphi(X)}=\begin{bmatrix} a^2\\b^2 \\a\\b\\ab\end{bmatrix} φ(x):X=[ab​]→φφ(X)= ​a2b2abab​ ​
由此得到：
φ ( X 1 ) = [ 0 0 0 0 0 ] ∈ C 1 φ ( X 2 ) = [ 1 1 1 1 1 ] ∈ C 1 φ ( X 3 ) = [ 1 0 1 0 0 ] ∈ C 2 φ ( X 4 ) = [ 0 1 0 1 0 ] ∈ C 2 {\varphi(X_1)}=\begin{bmatrix} 0\\0 \\0\\0\\0\end{bmatrix}\in C_1 \qquad {\varphi(X_2)}=\begin{bmatrix} 1\\1 \\1\\1\\1\end{bmatrix}\in C_1\\ {\varphi(X_3)}=\begin{bmatrix} 1\\0 \\1\\0\\0\end{bmatrix}\in C_2 \qquad {\varphi(X_4)}=\begin{bmatrix} 0\\1 \\0\\1\\0\end{bmatrix}\in C_2 φ(X1​)= ​00000​ ​∈C1​φ(X2​)= ​11111​ ​∈C1​φ(X3​)= ​10100​ ​∈C2​φ(X4​)= ​01010​ ​∈C2​
规定
W = [ − 1 − 1 − 1 − 1 6 ] , b = 1 W=\begin{bmatrix}-1\\-1\\-1\\-1\\6\end{bmatrix},b=1 W= ​−1−1−1−16​ ​,b=1
此时
$$\begin{gathered} W^{\top }\phi (X_1)+b=1 \\ {W}^{\top }\phi (X_2)+b=3 \\ {W}^{\top }\phi (X_3)+b=1 \\ {W}^{\top }\phi (X_4)+b=-1 \end{gathered}$$
$\phi$的选择是无限维

---

(1) 我们可以不知道无限维映射$\phi (X)$的显示表达，我们只要知道，一个核函数(Kernel Function)
$$K(X_1,X_2)=\phi (X_1{)}^{\top }\phi (X_2)$$
则(1)这个优化式仍然可解。

核函数(部分)：

①高斯核
$$K(X_1,X_2)=e^{-\frac{{\Vert X_1-X_2\Vert }^2}{2{\sigma }^2}}$$

$$=\phi (X_1{)}^{\top }\phi (X_2)$$

②
$$K(X_1,X_2)=({X_1}^{\top }{X}_2+1{)}^d$$

$$=\phi (X_1{)}^{\top }\phi (X_2)$$

(2) $K(X_1,X_2)$能写成$\phi (X_1{)}^{\top }\phi (X_2)$的充要条件(Mercer’s Theorem)：

①$K(X_1,X_2)=K(X_2,X_1)$；

②对任意$C_i(常数),{\mathbf{X}}_{\mathbf{i}}(向量)$，$(i=1\sim N)$，有(半正定性)：
$$\sum _{i=1}^N\sum _{j=1}^N{C}_i{C}_{j}K({\mathbf{X}}_{\mathbf{i}},{\mathbf{X}}_{\mathbf{j}})\ge 0$$

---

**优化问题：**训练样本集${\left\{({\mathbf{X}}_{\mathbf{i}},y_i)\right\}}_{i=1\sim N}$

(其中${\mathbf{X}}_{\mathbf{i}}$为向量，$y_i$为标签)
$$\{\begin{array}{c}min\frac{1}{2}{\Vert W\Vert }^2+C{\sum }_{i=1}^N{\sigma }_i\\ s.t.y_i[W^{\top }\phi (X_i)+b]\ge 1-{\sigma }_i\\ K(X_1,X_2)=\phi (X_1{)}^{\top }\phi (X_2)\end{array}$$

---

在此之前，简单说一下优化理论–原问题和对偶问题。

(1)原问题(Prime Problem)
$$\begin{gathered} minf(w) \\ s.t{g}_i(w)\le 0(i=1\sim k) \\ s.t{h}_i(w)=0(i=1\sim m) \end{gathered}$$
(2)对偶问题(Dual Problem)

①定义
$$\begin{gathered} L(w,\alpha ,\beta ) \\ =f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^m{\beta }_i{h}_i(w) \\ =f(w)+{\alpha }^{\top }g(w)+{\beta }^{\top }h(w) \end{gathered}$$
②对偶问题定义
$$\begin{gathered} max\Theta (\alpha ,\beta )=inf\left\{L(w,\alpha ,\beta )\right\} \\ s.t{\alpha }_i\ge 0(i=1\sim k) \end{gathered}$$
(其中$inf$为求所有$w$的最小值)

定理：

如果$w^{\ast }$是原问题的解，而${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，则有：
$$f(w^{\ast })\ge \Theta ({\alpha }^{\ast },{\beta }^{\ast })$$
证：
$$\begin{gathered} \Theta ({\alpha }^{\ast },{\beta }^{\ast })=inf\left\{L(w,{\alpha }^{\ast },{\beta }^{\ast })\right\} \\ \le L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=f(w^{\ast })+\sum _{i=1}^k{\alpha }_i^{\ast }{g}_i(w^{\ast })+\sum _{i=1}^m{\beta }_i^{\ast }{h}_i(w^{\ast }) \\ \le f(w^{\ast }) \end{gathered}$$

$$(其中{\alpha }_i^{\ast }\ge 0,g_i(w^{\ast })\le 0,h_i(w^{\ast })=0)，证毕$$

定义：
$$G=F(w^{\ast })-\Theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$$
$G$叫做原问题与对偶问题的间距(Duality Gap)。（对于某些特定的优化问题，可以证明对偶间距$G=0$。)

强对偶问题：

​ 若$f(w)$为凸函数，且$g(w)=Aw+b,h(w)=Cw+d$，则此优化问题的原问题与对偶问题间距为0，即$f(w^{\ast })=\Theta ({\alpha }^{\ast },{\beta }^{\ast })$，
$$对\forall i=1\sim k,\underset{KKT条件}{{\alpha }_i^{\ast }=0,或g_i(w^{\ast })=0}$$

---

接下来，试着把上述优化问题转化为对偶问题，以便求解

OK，现在把上面说的原对偶问题总结一下：

①原问题：
$$\begin{gathered} minf(w) \\ s.t{g}_i(w)\le 0(i=1\sim k) \\ s.t{h}_i(w)=0(i=1\sim m) \end{gathered}$$
②对偶问题：
$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^m{\beta }_i{h}_i(w)$$

$$\begin{gathered} max\Theta (\alpha ,\beta )=inf\left\{L(w,\alpha ,\beta )\right\} \\ s.t{\alpha }_i\ge 0(i=1\sim k) \end{gathered}$$

③KKT条件：
$$\forall i=1\sim k,有{\alpha }_i^{\ast }=0,或g_i(w^{\ast })=0$$

SVM是这样的：
$$min\frac{1}{2}{\Vert W\Vert }^2+C\sum _{i=1}^N{\sigma }_i(凸函数)\Rightarrow 对应原函数的f(w)$$

$$s.t\{\begin{array}{c}{y}_i[W^{\top }\phi (X_i)+b]\ge 1-{\sigma }_i\\ {\sigma }_i\ge 0(i=1\sim k)\end{array}$$

但是为了对应原问题，我们对他做一些改变：
$$min\frac{1}{2}{\Vert W\Vert }^2-C\sum _{i=1}^N{\sigma }_i$$

$$s.t\{\begin{array}{c}1+{\sigma }_i-y_i{W}^{\top }\phi (X_i)-y_{i}b\le 0\\ {\sigma }_i\le 0(i=1\sim k)\end{array}$$

对偶问题：
$$max\Theta (\alpha ,\beta )=\underset{所有(W,{\sigma }_i,b)}{\inf }\left\{\frac{1}{2}{\Vert W\Vert }^2-C\sum _{i=1}^N{\beta }_i{\sigma }_i+\sum _{i=1}^N{\alpha }_i\left[1+{\sigma }_i-y_i{W}^{\top }\phi (X_i)-y_{i}b\right]\right\}$$

$$s.t\{\begin{array}{c}{\alpha }_i\ge 0\\ {\beta }_i\ge 0\end{array}$$

令上面问题中大括号内的内容为$L(w,\sigma ,b)$
$$\frac{\partial L}{\partial W}=0\Rightarrow W=\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)$$

$$\frac{\partial L}{\partial {\sigma }_i}=0\Rightarrow {\beta }_i+{\alpha }_i=C$$

$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0$$

把上面得到的结果带入到对偶问题式子里，得
$$\begin{gathered} max\Theta (\alpha ,\beta )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j) \\ s.t\{\begin{array}{c}0\le {\alpha }_i\le c\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array} \end{gathered}$$
下面是上面求导中的某两步，仅供参考：
$$\begin{gathered} \frac{1}{2}{\Vert W\Vert }^2=\frac{1}{2}{W}^{\top }W \\ =\frac{1}{2}{\left\{\sum _{i=1}^N{\alpha }_i{y}_i\phi (X_i)\right\}}^{\top }\left\{\sum _{j=1}^N{\alpha }_j{y}_j\phi (X_j)\right\} \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (X_i{)}^{\top }\phi (X_j) \\ =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j) \end{gathered}$$

$$\begin{gathered} -\sum _{i=1}^N{\alpha }_i{y}_i{W}^{\top }\phi (X_i) \\ =-\sum _{i=1}^N{\alpha }_i{y}_i{\left\{\sum _{j=1}^N{\alpha }_j{y}_j\phi (X_j)\right\}}^{\top }\phi (X_i) \\ =-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (X_j{)}^{\top }\phi (X_i) \\ =-\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j) \end{gathered}$$

接下来要求b，要用到KKT条件：

对任意的$i=1\sim N$,

①要么${\beta }_i=0$，要么${\sigma }_i=0$；

②要么${\alpha }_i=0$，要么$1+{\sigma }_i-y_i{W}^{\top }\phi (X_i)-y_{i}b=0$。

取一个${\alpha }_i$，满足$0<{\alpha }_i<c$，$⟹{\beta }_i=c-{\alpha }_i>0,此时\{\begin{array}{c}{\beta }_i\ne 0\Rightarrow {\sigma }_i=0\\ {\alpha }_i\ne 0\Rightarrow 1+{\sigma }_i-y_i{W}^{\top }\phi (X_i)-y_{i}b=0\end{array}$,
$$\Rightarrow b=\frac{1-y_i{W}^{\top }\phi (X_i)}{y_i}=\frac{1-y_i{\sum }_{j=1}^N{\alpha }_j{y}_{j}K(X_i,X_j)}{y_i}$$

SVM算法：

①训练流程：

输入${\left\{(X_i,y_i)\right\}}_{i=1\sim N}$

（解优化问题）

最大化：$\Theta (\alpha )={\sum }_{i=1}^N{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j)$

限制条件：$\{\begin{array}{c}0\le {\alpha }_i\le c\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$

算b，找一个$0<{\alpha }_i<c$,$b=\frac{1-y_i{\sum }_{j=1}^N{\alpha }_j{y}_{j}K(X_i,X_j)}{y_i}$

②测试流程：

测试样本X

​ 若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\ge 0，则y=+1$

​ 若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b<0，则y=-1$。

限制条件：$\{\begin{array}{c}0\le {\alpha }_i\le c\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$

算b，找一个$0<{\alpha }_i<c$,$b=\frac{1-y_i{\sum }_{j=1}^N{\alpha }_j{y}_{j}K(X_i,X_j)}{y_i}$

②测试流程：

测试样本X

​ 若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b\ge 0，则y=+1$

​ 若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X)+b<0，则y=-1$。