数值实验-高斯核函数 python/matlab 实现

支持向量机

• 支持向量：支持平面把两类类别划分开的超平面的向量点
• 机：一种算法
• SVM 是一种二分类模型
• 线性可分支持向量机：通过硬间隔最大化，学习一个线性分类器
• 线性支持向量机：通过软间隔最大化，学习一个线性分类器
• 非线性支持向量机：通过核技巧，学习一个非线性分类器

线性可分支持向量机

几何间隔

函数间隔

见 ：Python机器学习笔记：SVM（2）——SVM核函数 - 知乎 (zhihu.com)

拉格朗日乘子法

第一种情况：最小值在可行区域内
$$\begin{gathered} g(x^{\ast })<0 \\ {\nabla }_{x}f(x^{\ast })=0 \end{gathered}$$
第二种情况：最小值在可行区域外
$$\begin{gathered} g(x^{\ast })=0 \\ -{\nabla }_{x}f(x^{\ast })=\alpha {\nabla }_{x}g(x^{\ast }) \\ \alpha >0 \end{gathered}$$
著名的KKT条件，整合了上面两种情况的条件
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast })=0 \\ {\alpha }^{\ast }>0 \\ {\alpha }^{\ast }g(x^{\ast })=0 \\ g(x^{\ast })\le 0 \end{gathered}$$

SVM目标函数求解

• 目标函数：

$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ \text{ s.t. }1-y^{(i)}\left(w\cdot x^{(i)}+b\right)\le 0,\mathrm{i}=1,2,\dots ,\mathrm{m} \end{gathered}$$

• 构造拉格朗日函数：

$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }^{(i)}{y}^{(i)}\left(w\cdot x^{(i)}+b\right)+\sum _{i=1}^m{\alpha }^{(i)}$$

• 根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$$\begin{gathered} 原始问题:\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha ) \\ 对偶问题:\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha ) \end{gathered}$$

线性支持向量机

非线性支持向量机

核技巧

原空间：$x=(x_1,x_2{)}^T$

新空间：$z=(z_1,z_2{)}^T$

设原空间到新空间的变换 $z=\varphi (x)=(x_1^2+x_2^2{)}^T$

则把原空间中的椭圆 $w_1{x}_1^2+w_2{x}_2^2+b=0$ 变换为新空间中的直线 $w_1{z}_1+w_2{z}_2+b=0$

高斯核公式：
$$k(x,z)=\exp \left(-\frac{\Vert x-z{\Vert }^2}{2{\sigma }^2}\right)$$

def gauss_kernel(x,z,delta):
    m,n = np.shape(x)
    k = np.mat(np.zeros((m,1)))
    for i in range(m):
        delta_row=x[i,:] - z
        k[i] = delta_row * delta_row.T
    k = np.exp(k/(-2*delta)**2)
    return k

数值实验

在平面 $R^2$ 上取矩形$I=[-5,5]\times [-5,5]$ ,并在 $I$ 中随机产生100个样本点，作为训练样本点，得到训练样本集 $\Omega =\{(x_i,y_i)|i=1,2,...,100\}\subset I\times \{-1,+1\}$ ,其中，如果 $x_i$ 落在圆 $t_1^2+t_2^2=16((t_1,t_2))\in {\mathbf{R}}^2$内，则取 $y_i=-1$ , 否则取$y_i=+1$

​ 采用Gauss支撑向量机进行学习。Gauss核函数的参数选取及其分类效果，见表4.4.1.学习后的得到的分类曲线见图4.4.1

高斯核中的 σ 的值	100个训练样本中SV的个数	300个实验样本被误分的个数
0.1	99	205
0.5	64	103
20.0	37	48
26.0	52	24
28.0	56	14
29.0	55	9
30.0	60	8
50.0	62	52
200.0	63	53

代码见 GitHub