《统计学习方法》学习笔记 chapater2——感知机

简介

感知机（perceptron）是二分类的线性分类模型，简单理解为一个超平面把两个类别的数据切成两半。

它是SVM、神经网络的基础，相当于加减乘除，所以必须学一下，最好理解透彻。

按照统计学习方法三要素来学习：模型、策略、算法。

模型

定义比较冗长，自己去看，只说核心点，模型函数：
$$f(x)=sign(w^T\cdot x+b)$$
其中$w$是权值向量，$b$是偏置。

用人话来说，$w^{T}x+b$就是个多项式，展开就是$b+w_1{x}_1+w_2{x}_2+\cdots$

上面的$w=(w_1,w_2,\cdots {)}^T$，$x=(x_1,x_2,\cdots {)}^T$，至于为什么把$w$和$x$规定成列向量，我想到一个点，就是在线性代数方程组的情况下，输出$y$是一列的，然后这样把$x$规定成列向量，好看一点。

比如，这样排列：
$$b+{\left(\begin{array}{c}{w}_1\\ w_2\\ ⋮\end{array}\right)}^T\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\end{array}\right)=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\end{array}\right)$$
这样一一对应，感觉就很棒。

$sign$函数：
$$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}$$
这个函数过于简单，不再赘述。

策略

策略就是学习策略，说人话就是找到最合适的$w$和$b$，怎么定义这个最合适，就是策略。

感知机使用损失函数作为学习策略，使损失函数降到最低。

感知机在样本空间里是一个超平面，很容易想到的损失函数就是被误分类的点到这个超平面的距离之和，这个和等于0的时候，就是没有误分类点了。

那么对于样本空间任意一点$x_0$，到超平面$w^{T}x+b=0$的距离，由初中数学知识可得：
$$\frac{1}{||w||}|w^T\cdot x_0+b|$$
其中，$||w||$是$w$的$L_2$范数，$||w||=\sqrt{w_1^2+w_2^2+\cdots }$

由模型的定义知，对于正确分类点来说，$w^T{x}_i+b\ge 0$时，$y_i=+1$；当$w^T{x}_i+b<0$时，$y_i=-1$。那么对于误分类点来说，情况就是反的，即$w^T{x}_i+b\ge 0$时，$y_i=-1$；当$w^T{x}_i+b<0$时，$y_i=+1$，因此，在误分类点的距离公式中加入$y$，就得到误分类点$(x_i,y_i)$到超平面的距离：
$$-\frac{1}{||w||}{y}_i(w^T\cdot x_i+b)$$
误分类点的集合为$M$，则所有误分类点到超平面的距离之和为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w^T\cdot x_i+b)$$
在计算损失函数的时候，可以忽略掉这里的$\frac{1}{||w||}$，可以忽略的原因我在CSDN、百度、知乎、其他博客都找了一下，原因大致归为两点：

① $\frac{1}{||w||}$的符号一直为正数，而这里的loss function是误分类点驱动的，即正分类点对于loss function没有影响，可以认为这里的loss function和$\frac{1}{||w||}$不相关，直接忽略掉。

② 基本和第一点一致，就是算法的终止条件是距离之和为0，和分母没有关系。

按照我自己的理解，那个分母，会影响超平面的位置，但是不会影响到超平面正确将数据点分割开，即可认为对模型的结果没有影响，而且可以简化运算，就直接忽略了。

于是损失函数就变为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w^{T}x+b)$$
其中$M$代表所有误分类点的集合。

那么现在模型的求解，转变成了最优化$L(w,b)$函数。

算法

书中给的最优的方法是梯度下降法，这里不介绍梯度下降法的具体过程，只进行使用。

原始形式

用$L(w,b)$对$w$和$b$分别求偏导得到：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} &…
根据梯度下降法，随机选取一个误分类点$(x_i,y_i)$，对$(w,b)$进行更新：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} w…
其中$\eta (0<\eta \le 1)$为步长，在机器学习里叫学习率，可以自己设定。

综上所述，算法步骤描述如下：

1. 选取初值$w_0$和$b_0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i(w^T{x}_i+b)\le 0$，使用公式KaTeX parse error: Undefined control sequence: \eqref at position 1: \̲e̲q̲r̲e̲f̲{1}来更新$w$和$b$的值
4. 跳回到第2步，直至训练集中没有误分类点

然后自己去动手做一遍《统计学习方法》的例2.1，基本上就彻底就闹明白感知机怎么玩的了。

对偶形式

先说为什么会有对偶形式：方便计算，真的很方便计算，手推一遍例2.2，就知道这玩意有多方便计算了，不管是手推还是计算机来算，对偶形式的计算量比原始形式小的多的多，就是比原始形式稍微难以理解一点。

在原始形式里，由公式KaTeX parse error: Undefined control sequence: \eqref at position 1: \̲e̲q̲r̲e̲f̲{1}，每一次迭代，$w$和$b$都会有一个增量，假设模型一共迭代$n$次，设${\alpha }_i=n\eta$，则最后的学习到的参数可以表示为：
KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} w…
则模型转换为：
$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{x}_j{y}_j\cdot x+b)$$
其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$。

算法也转换为：

1. 令初始值$\alpha =0,b=0$

2. 在训练集中选取数据$(x_i,y_i)$

3. 如果$y_i({\sum }_{j=1}^N{\alpha }_j{x}_j{y}_j\cdot x_i+b)\le 0$，用下列公式更新参数：
   KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲\begin{split} \…

4. 跳回到第2步，直至训练集中没有误分类点

一定一定要去手动推一遍例2.1和例2.2，不行就推两遍，肯定会懂的。