机器学习理论《统计学习方法》学习笔记：第二章 感知机

2 感知机

• 感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1或-1二值。感知机对于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
• 感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是用学习到的感知机模型，对新的输入实例进行分类。感知机于1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

2.1 感知机模型

• 感知机【定义】
  假设输入空间（特征空间）是 $X\in R^n$ ，输出空间是 $Y=\{-1,+1\}$ 。输入 $x\in X$ 表示实例的特征向量，对于输入空间的点；输出 $y\in Y$表示实例的类别。由输入空间到输出空间的如下函数:$$f(x)=sign(w\cdot x+b)$$称为感知机。其中，$w$和$b$为感知机模型参数， $w\in R^n$叫做权值（weight）或权值向量（weight vector），$b\in R$ 叫做偏置（bias），$w\cdot x$表示$w$和$x$的内积，$sign$是符号函数，即：
  $$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}$$
• 感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合$\{f|f(x)=w\cdot x+b\}$。
• 感知机有如下几何解释：线性方程$$w\cdot x+b=0$$对应于特征空间$R^n$中的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。这个超平面将特征空间划分为两个部分，位于两部分的点（特征向量）分别被分为正负两类。因此，超平面 $S$ 称为分离超平面。
  
• 感知机学习，由训练数据集（实例的特征向量及类别）$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$,求得感知机模型，即求得模型参数 $w,b$ 。感知机预测，通过学习得到的感知机模型，对于新的输入实例给出其对应的输出类别。

2.2 感知机学习策略

2.2.1 数据的线性可分性

给定一个数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$，如果存在某个超平面 $S$，能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧，即对所有 $y_i=+1$ 的实例 $i$ ，有 $w\cdot x_i+b>0$，对所有 $y_i=-1$ 的实例 $i$ ，有 $w\cdot x_i+b<0$，则称数据集 $T$ 为线性可分数据集；否则，称数据集 $T$ 为线性不可分。

2.2.2 感知机学习策略

• 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数 $w,b$ ，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。
• 损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数$w,b$的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面$S$的总距离，这是感知机所采用的。为此，首先写出输入空间$R^n$中任一点$x_0$到超平面$S$的距离：$$\frac{1}{||w||}|w\cdot x_0+b|$$这里，$||w||$是$w$的$L_2$范数。
• 其次，对于误分类的数据$(x_i,y_i)$来说，$$-y_i(w\cdot x_i+b)>0$$成立。因为当$w\cdot x_i+b>0$时，$y_i=-1$；当$w\cdot x_i+b<0$时，$y_i=+1$；因此，误分类点$x_i$到超平面$S$的距离是$$-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$
• 这样，假设超平面的误分类点集合为$M$，那么所有误分类点到超平面的总距离为$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$，不考虑 $\frac{1}{||w||}$ 就得到感知机学习的损失函数。
• 给定训练数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$。感知机$sign(w\cdot x+b)$学习的损失函数定义为$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$，其中$M$为误分类点的集合。这个损失函数就是感知机学习的经验风险函数。
• 显然，损失函数$L(w,b)$是非负的。如果没有误分类点，损失函数值为0.而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。一个特点样本点的损失函数：在误分类时，是参数$w,b$的线性函数，在正确分类时是0.因此，给定训练数据集$T$，损失函数$L(w,b)$是$w,b$的连续可导函数。
• 感知机学习的策略是在假设空间中选取使损失函数式最小的模型参数$w,b$,即感知机模型。

2.3 感知机学习算法

2.3.1 感知机学习算法的原始形式

• 感知机学习问题转化为求解损失函数式的最优化问题，最优化的方法是随机梯度下降法。
• 感知机学习算法是对以下最优化问题的算法。给定训练数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$。
• 感知机$sign(w\cdot x+b)$学习的损失函数定义为$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$，其中$M$为误分类点的集合。求参数$w,b$使其为以下损失函数极小化问题的解：$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
• 感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平面$w_0,b_0$，然后用梯度下降法不断地极小化目标函数。极小化过程中不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
• 感知机学习算法的原始形式
  输入：训练数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$；学习率 $\eta$ $(0<\eta \le 1)$.
  输出：$w,b$；感知机模型：$f(x)=sign(w\cdot x+b)$
  (1)选取初值$w_0,b_0$
  (2)在训练集中选取数据$(x_i,y_i)$
  (3)如果 $y_i(w\cdot x_i+b)\le 0$，$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$
  (4)转至(2)，直至训练集中没有误分类点。
• 感知机学习算法的原始形式直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面超过该误分类点使其被正确分类。

2.3.2 算法的收敛性

• 对于线性可分数据集，感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
• 误分类的次数是有上界的，经过有限次搜索，可以找到将训练数据完全分开的超平面。也就是说，当训练数据集线性可分时，感知机学习算法原始形式是收敛的。
• 感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的迭代次序，为了得到唯一的超平面，需要对分离超平面添加约束条件。当训练集线性不可分时，迭代结果会发生震荡。

2.3.3 感知机学习算法的对偶形式

• 对偶形式的基本想法是，将 $w$ 和 $b$ 表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式，通过求解系数而求得 $w$ 和 $b$ 。在感知机学习算法的原始形式中，假设初始值$w_0,b_0$均为0.对误分类点$(x_i,y_i)$通过$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$，逐步修改$w,b$，设修改n次，则$w,b$关于$(x_i,y_i)$的增量分别是$a_i{y}_i{x}_i$和$a_i{y}_i$，这里$a_i=n_i\eta$.
• 在学习过程中不难看出，最后学习到的$w,b$可以分别表示为$$w=\sum _{i=1}^N{a}_i{y}_i{x}_i$$ $$b=\sum _{i=1}^N{a}_i{y}_i$$这里，$a_i\ge 0,i=1,2,\cdots ,N$，当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类，这样的实例对学习结果影响最大。
  感知机学习算法的对偶形式
  输入：线性可分的数据集$$T=\{(x_1,y_1),(x_2,y_2),\cdot \cdot \cdot ,(x_n,y_n)\}$$，其中$x_i\in X=R^n,y_i\in Y=\{+1,-1\},i=1,2...N$；学习率 $\eta$ $(0<\eta \le 1)$.
  输出：$a,b$；感知机模型：$$f(x)=sign(\sum _{j=1}^N{a}_j{y}_j{x}_j+b)$$,其中$a=(a_1,a_2,\cdots ,a_N{)}^T$
  （1）$a\leftarrow 0,b\leftarrow 0$
  （2）在训练集中选取数据$(x_i,y_i)$
  （3）如果$$y_i(\sum _{j=1}^N{a}_j{y}_j{x}_j\cdot x_i+b)\le 0$$,
  $$a\leftarrow a_i+\eta$$,$$b\leftarrow b+\eta y_i$$
  （4）转至（2）直至没有误分类数据
• 对偶形式中，训练实例仅以内积的形式出现，为了方便，可以预先将训练集中实例间的内积计算出来，并以矩阵的形式存储，这个矩阵就是Gram矩阵：$$G=[x_i\cdot x_j{]}_{N\ast N}$$

小结

1. 感知机是根据输入实例的特征向量$x$对其进行二分类的线性分类模型:$$f(x)=sign(w\cdot x+b)$$感知机模型对应于输入空间（特征空间）中的分离超平面：$$w\cdot x+b=0$$
2. 感知机学习的策略是极小化损失函数:$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$损失函数对应于误分类点到分离超平面的总距离。
3. 感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式，算法简单且易于实现。原始形式中，首先任意选一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中，一次随机选取一个误分类点使其梯度下降。
4. 当训练数据集线性可分时，感知机学习算法是收敛的。感知机算法在训练数据集上的误分类次数 $k$ 满足不等式：$$k\le (\frac{R}{\gamma }{)}^2$$当训练数据集线性时，感知机学习算法存在无穷多个解，其解由不同的初值或不同的迭代次序而可能有所不同。