感知机（一）——原理篇

判别模型
线性分类模型

模型

感知机是根据输入实例的特征向量$x$对其进行二类分类的线性分类模型，由输入空间到输出空间的函数为：
$$f(x)=sign(w\cdot x+b)\text{\hspace{1em}(*)}$$
其中$w$和$b$为感知机模型参数，$w$称作权值或权值向量，$b$称作偏置；
$w\cdot x$表示二者的内积，Eg. $w=(w^{(1)},w^{(2)}{)}^T,x=(x^{(1)},x^{(2)}{)}^T$，则$w\cdot x=w^{(1)}{x}^{(1)}+w^{(2)}{x}^{(2)}$;
$sign$为符号函数，$sign(x)=\{\begin{array}{rc}+1,& x\ge 0\\ -1,& x<0\end{array}$

线性方程 $w\cdot x+b=0$ 对应于输入空间（特征空间）中的分离超平面，这个超平面将特征空间划分为两个部分，位于两部分的点分别为正、负两类。
其中$w$是超平面的法向量，$b$是超平面的截距。

策略

损失函数极小化，在假设空间中选取使损失函数最小的模型参数$w,b$
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(A)}$$
损失函数的几何意义：误分类点到分离超平面的总距离

损失函数的推导过程：
点到直线的距离公式
给定直线方程为$A{x}^{\prime }+B{y}^{\prime }+C=0$,点$P$的坐标为$(x_0^{\prime },y_0^{\prime })$,则点到直线的距离为
$$d=\frac{|A{x}_0^{\prime }+B{y}_0^{\prime }+C|}{\sqrt{A^2+B^2}}$$
令$w=(A,B{)}^T,x_0=(x_0^{\prime },y_0^{\prime }{)}^T,b=C$,则空间中某一点到平面的距离为
$$d=\frac{|w\cdot x_0+b|}{\sqrt{A^2+B^2}}=\frac{|w\cdot x_0+b|}{||w||}=\frac{1}{||w||}|w\cdot x_0+b|$$
其中$||w||$是指$w$的$L_2$范数。

范数
参考文献：范数、L1范数和L2范数的基本概念
范数，是具有“长度”概念的函数，它常被用来度量某个向量空间中的每个向量的长度或大小。
若$x=[x_1,x_2,\cdot \cdot \cdot ，x_n{]}^T$，那么向量$x$的p范数为
$$||x|{|}_p=(|x_1{|}^p+|x_2{|}^p+\cdot \cdot \cdot +|x_n{|}^p{)}^{\frac{1}{p}}$$
$L_0$范数：指向量中非零元素的个数
$L_1$范数：各个元素的绝对值之和，$||x|{|}_1=|x_1|+|x_2|+\cdot \cdot \cdot +|x_n|$
$L_2$范数：每个元素的平方和再开方，$||x|{|}_2=(|x_1{|}^2+|x_2{|}^2+\cdot \cdot \cdot +|x_n{|}^2{)}^{\frac{1}{2}}=\sqrt{(|x_1{|}^2+|x_2{|}^2+\cdot \cdot \cdot +|x_n{|}^2)}$
$L_{+\infty }$范数：指向量中绝对值最大的元素 ，$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$
$L_{-\infty }$范数：指向量中绝对值最小的元素 ，$||x|{|}_{\infty }=\underset{1\le i\le n}{\min }|x_i|$
关于范数在深度学习中的作用参考：深度学习——L0、L1及L2范数

数据集的线性可分性
如果存在某个超平面S能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有$y_i=+1$的实例$i$，有$w\cdot x_i+b>0$，对所有$y_i=-1$的实例$i$，有$w\cdot x_i+b<0$，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。

由数据集的线性可分性的定义可得，对于误分类数据$(x_i,y_i)$，有当$w\cdot x_i+b>0$时，$y_i=-1$；当$w\cdot x_i+b<0$时，$y_i=+1$. 即有$-y_i(w\cdot x_i+b)>0$，从而推得$|w\cdot x_0+b|=-y_i(w\cdot x_i+b)$. 因此，误分类点$x_i$到超平面$S$的距离为：
$d=\frac{1}{||w||}|w\cdot x_i+b|=-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$
那么，所有误分类点到超平面$S$的距离为：
$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$
而$||w|{|}_2=\sqrt{(|w_1{|}^2+|w_2{|}^2+\cdot \cdot \cdot +|w_n{|}^2)}$，不考虑$\frac{1}{||w||}$(为标量？？)，得到感知机学习的损失函数为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)\text{\hspace{1em}(B)}$$

算法

感知机学习算法是误分类驱动的，采用随机梯度下降法不断地极小化目标函数(A)，每次随机选取一个误分类点使其梯度下降。

---

原始形式
输入：
训练数据集$T=\left\{(x_1,y_1),(x_2，y_2),\cdot \cdot \cdot ,(x_N,y_N)\right\}$,其中$x_i\in R^n,y_i\in \left\{-1,+1\right\},i=1,2,\cdot \cdot \cdot ,N$;
学习率$\eta (0<\eta \le 1)$
输出：
$w,b$;
感知机模型$f(x)=sign(w\cdot x+b)$
Step1: 选取初值$w_0,b_0$
Step2: 在训练集中随机选取数据$(x_i,y_i)$
Step3: 如果$y_i(w\cdot x_i+b)\le 0$, 更新$w,b$
$$w\leftarrow w+\eta y_i{x}_i\text{\hspace{1em}(1)}$$$$b\leftarrow b+\eta y_i\text{\hspace{1em}(2)}$$
Step4: 转至Step2，直到训练集中没有误分类点

解析
关于Step3的参数更新的公式：
损失函数见式(B)，其梯度由以下两式给出
$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$

对$w,b$沿梯度方向进行更新，即
$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$
其中$\eta (0<\eta \le 1)$是步长，也称学习率。

梯度
参考文献：方向导数与梯度
函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，它的模为方向导数的最大值。即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

---

对偶形式
输入：
训练数据集$T=\left\{(x_1,y_1),(x_2，y_2),\cdot \cdot \cdot ,(x_N,y_N)\right\}$,其中$x_i\in R^n,y_i\in \left\{-1,+1\right\},i=1,2,\cdot \cdot \cdot ,N$;
学习率$\eta (0<\eta \le 1)$
输出：
$\alpha ,b$;
感知机模型$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,\cdot \cdot \cdot ，{\alpha }_N{)}^T$
Step1: 设置初值 $\alpha \leftarrow 0,b\leftarrow 0$
Step2: 在训练集中随机选取数据$(x_i,y_i)$
Step3: 如果 $y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$,
$${\alpha }_i\leftarrow {\alpha }_i+\eta \text{\hspace{1em}(3)}$$$$b\leftarrow b+\eta u_i\text{\hspace{1em}(4)}$$
Step4: 转至Step2，直到训练集中没有误分类点

解析
对偶形式的基本思想：将$w$和$b$表示为实例x_i和标记$y_i$的线性组合的形式，通过求解其系数$(\alpha )$而求得$w$和$b$。
在感知机学习算法的原始形式中假设初始值$w_0,b_0$均为0；
对误分类点$(x_i,y_i)$通过式(1)(2)逐步更新$w,b$，则经过$n$次更新后，$w,b$关于$(x_i,y_i)$的增量分别为${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$；
则最后学习到的$w$和$b$分别表示为：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(5)}$$$$b=\sum _{i=1}^N{\alpha }_i{y}_i\text{\hspace{1em}(6)}$$
其中${\alpha }_i\ge 0,i=1,2,\cdot \cdot \cdot ，N$；当$\eta =1$时，${\alpha }_i$表示第$i$个实例点由于误分类而进行更新的次数。
将式(5)代入式(*)，即将感知机模型化为
$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)\text{\hspace{1em}(C)}$$
这样将参数由$w,b$变为$\alpha ,b$，参数更新过程也得到简化，由(1)(2)变为(3)(4)；另外，训练实例仅以内积$(x_j\cdot x_i)$的形式存在，可以预先将其计算出来以矩阵的形式存储，这就是Gram矩阵。
$$G=[x_i\cdot x_j{]}_{N\times N}$$

---

参考文献
[1] 李航. 统计学习方法（第2版）. 北京：清华大学出版社，2017.