尝试尽可能详细的《统计学习方法》笔记——第二章 感知机

前言

这本书介绍的第一个模型就是感知机（perceptron），这是一种针对二类分类建立的模型，输入样本的特征向量，输出预测该样本在二类中的类别。
完成这个思想的方法是，把样本的特征向量看成n维空间（样本有几个特征，就反映在几维空间）里的点，然后找到一个该空间的超平面，将样本点进行划分。找到这个超平面的问题有原始形式和对偶形式。

第一节 感知机模型

定义

完全的定义在书上有，这里省略一些细节。
主要用来输出预测的模型是：

$f(x)=sign(w\cdot x+b)$

其中，$sign(x)$函数是一个类似示性函数$I(x)$的函数
$$f(x)=\{\begin{array}{rl}+1& \text{ , x≥0}\\ -1& \text{ , x＜0}\end{array}$$
$w$是和特征个数相同的n维向量，$b$是一个标量，这是后面建立分离超平面的参数。
感知机有一个几何解释，建立的线性方程：
$w\ast x+b=0$
是特征空间$R^n$中的一个超平面，其中$w$是该超平面的法向量，$b$是超平面的截距，表征了超平面离原点的偏离（比如三维空间中，不同的b代表了纵向上变化量，即z轴变化量）。
这个超平面将训练集中的样本分为两部分，即完成了感知机模型的建立。

第二节 感知机学习策略

数据集的线性可分性（前提条件）

对给定的数据集，如果存在一个超平面能够将数据集的两类实例点完全的分离开，就称这个数据集是线性可分的数据集，否则就不可分。
这个要求主观上就是要求数据中的干扰项或者说异常值较少，少到没有能被误分的程度，其实蛮严格的。

感知机的学习策略（怎么思考？）

感知机的学习策略就是将定义的损失函数降到最低，也就是把“错误率”降到最低。我们会自然的想到用误分类的点数去定义这个损失函数，但是这是个离散的函数值，每个点都不可导，不能用求导的方法求极值去优化，所以我们用的是误分类点到平面的总距离（实际上在后续计算也没有用到距离）。
（这里为什么只用了误分类点没有用全体点呢？
第一、不论用全体点正确与否，在大数量级的数据面前，用全体点求到平面距离的工作量是非常庞大的。
第二、对感知机来说，我们只用去关注被误分类的样本，其余已经分类好了的点，我们不用再次关注他们的距离，距离问题是在后面章节支持向量机求唯一超平面时候才考虑。现在只要能找到所有能较好分割样本点的超平面其中的一个就OK）
首先，我们用点到平面的距离公式：$$\frac{丨w\cdot x_i+b丨}{\sqrt{w^{T}w}}$$
其中的$w^{T}w$其实就是$w$每个分量的平方和，在开方，就是$w$在该维的范数。$w\ast x_i+b$带入$x_i$后可以通过正负来判断这个点是否和法向量在同侧。如果假设法向量一侧都是正例，那么可以用$-y_i\ast (w\ast x_i+b)$的符号来鉴别有没有正确分类。预测值和实际值$y_i$如果在同侧，也即同号，则整个式子为负。当式子为正的时候，也就说这个样本点被误分类了。
假设模型中误分类点的集合为$M$：
则所有误分类点到超平面的距离为
$$-\frac{1}{\sqrt{w^{T}w}}\ast \sum _{x_i\in M}{y}_i\ast (w\cdot x_i+b)$$
这个就是感知机模型的经验风险函数（经验指：这是通过已有的样本，也就是我们的“经验”判断的风险。）我们的目的就是寻找这个式子取最小值时的$w和b$。

感知机学习算法（怎么做？）

原始形式

感知机模型现在可以叙述为：
给定数据集$(x_i,y_i),i=1,2,3,4,5,6\dots \dots n$之后
（其中$x_i$是样本的特征向量，每个分量代表了各特征取值，$y_i$是样本实际观测下来的类别值）
求损失函数极小化的解
$$\min L(w,b)=\min -\frac{1}{\sqrt{w^{T}w}}\ast \sum _{x_i\in M}{y}_i\ast (w\cdot x_i+b)$$
在计算中，先设定初始的超平面参数$w_0,b_0$然后随机选择一个误分类点让两个参数梯度下降。
如果误分类点$M$是固定的（实际每次调整参数，$M$都会变动），那么下降的梯度就是：
$$\begin{gathered} {▽}_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i \\ {▽}_{b}L(w,b)=-\sum _{x_i\in M}{y}_i \end{gathered}$$
（注意一下这个地方的求和号，表示是总下降梯度，不是逐次下降梯度，在后面对偶问题还会再次出现。）
在$M$中，随机选择一个误分类点$(x_i,y_i)$，对现有的$w和b$进行更新
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
注意两个点：
1.其中的$\eta \in (0,1]$是步长，代表了每次更新的幅度大小。
2.其中的$y_i$是标量，+1和-1，不要和后面的特征向量数据格式搞混了。
这样通过不停地迭代计算，损失函数就会不断减少，直至为零，得到最终的模型参数。

所以得到如下算法
1.选取初值$w_0,b_0$
2.在误分类点中随机选取数据$(x_i,yi)$
3.更新两个参数$w,b$
4.重复2-3步骤，直到误分类点为零。

从几何直观上，这中反复操作相当于，找到一个误分类点，然后将超平面朝这个误分类点的方向移动一步，直到越过它，将它正确分类。
例子在书中有称述

算法的收敛性（怎么就经过有限次迭代能够找到正确超平面？）

这里有一个定理，证明在书中，也不赘述了。
1.存在满足条件$\sqrt{w^{T}w}=1$（单位化）的超平面将训练数据集完全分开，且存在$\gamma ＞1$
注：这里定义了新的超平面方程
$$\begin{gathered} \hat{w}\cdot \widehat{x_i}=0 \\ 其中\hat{w}=(w_0,w_1,\dots \dots ,b) \\ \widehat{x_i}=(x_1,x_2,\dots \dots ,1) \end{gathered}$$
这个新形式更加紧凑，其实就是两个向量內积。
2.令$R=ma{x}_{1\le i\le N}\sqrt{{\hat{x}}_i^T\cdot {\hat{x}}_i}$，即最大的一个${\hat{x}}_i$的內积，则在训练集上，感知机算法的误分类次数k满足不等式$$k\le (\frac{R}{\gamma }{)}^2$$

对偶形式

在原始形式里，我们通过样本点直接去迭代求解$w,b$，而在对偶形式中，我们将$w和b$，表示为$x_i,y_i$的线性组合形式，再通过求解线性组合的系数，最终得出$w和b$。这和原始形式的区别就是，原始形式是选一个点，更新一次，再选一个点，更新第二次。对偶形式采取的策略是，把对所有误分点将要进行的数据更新累加在一起，最后一起更新一次。在这之中有些误分点可能会多次采用，所以引进$n_i$，表征第$i$个样本总共被调用了几次。
在原始形式的算法中，设定初试值$w_0和b_0$，然后选择误分类点，通过
$$\begin{gathered} w\leftarrow w+\eta y_i{x}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
逐步的修改$w和b$，设从开始到最后得到模型，我们因为某个误分类点$(x_i,y_i)$一共修改了$n_i$次，则对于这个误分类点，两个参数$w,b$的总增量是$n_i\eta$，令$n_i\eta ={\alpha }_i$。则最终学习到的参数为：$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{x}_i{y}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$综上，我们总结对偶形式的算法为：
建立感知机模型对偶形式$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{x}_j{y}_j\cdot x+b)$
注：实际上，这里将原始问题中的$w$替换成了$x_j和y_j$的线性组合，其组合中每一项的系数为${\alpha }_j$。
1.设置初始值$\alpha 和b$
2.在误分类点中选择数据$(x_i,y_i)$
3.更新数据：
$$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_{i-1}+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$
4.重复2-3步骤，直至没有误分类点为止。

那么采用对偶形式的模型有什么好处呢？
在原始问题中，我们每一次更新参数，都需要调用整个样本点的信息，而在对偶形式中，在更新参数时，只需要计算內积$x_i^T{x}_j,i,j=1,2,3,4....N$
这是一个数，这样的处理就降低了计算复杂程度。我们就可以在拟合模型之前，计算出每个样本的特征向量和其他样本特征向量的內积，储存在一个矩阵中，在将来更新参数的时候方便调用。
故我们定义Gram矩阵：
$$G=[x_i\cdot j_i{]}_{N\times N}$$方便之后调用內积来更新参数。

自此感知机模型基础介绍完毕，后期会更新python实现部分。