感知机算法学习笔记（带例题及代码）

感知机

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出实例为类别，取+1和-1二值，属于判别模型。感知机学习旨在求出能够将训练数据集进行正确的分类的分离超平面的。为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机具有简单易实现的优点，分为原始和对偶形式。

感知机模型

定义：称函数$y=f(x)=sign(\omega \cdot x_i+b)$为感知机，其中$\omega \in {\mathbb{R}}^n,x\in X\subseteq {\mathbb{R}}^n,\omega ̸=0,B\in R,sign$为符号函数，即对任意$z\in \mathbb{R}$,有$$sign=\{\begin{array}{ccc}+1& & z>0\\ 0& & z=0\\ -1& & z<0\end{array}$$对于任意输入$x\in X\subseteq {\mathbb{R}}^n$,感知机的输出是+1或-1中的一个。在几何意义上，$\omega \cdot x_i+b=0$是${\mathbb{R}}^n$的一个分离超平面S,${\mathbb{R}}^n$被划分到分离超平面的两侧，输入感知机后得到+1或-1。

感知机学习策略

对于训练数据集$T=\left\{\begin{array}{cccc}(x_1,y_1)& (x_2,y_2)& ...& (x_N,y_N)\end{array}\right\}$,其中$x\in X\subseteq {\mathbb{R}}^n$，$y_i=\left\{\begin{array}{c}+1,-1\end{array}\right\}$中的实例点$(x_i,y_i)$,${\mathbb{R}}^n$中的某一超平面$S:\omega \cdot x_i+b=0$可能会被正确分类，也可能会被错误分类。当被错误分类时，有$-y_i(\omega \cdot x_i+b)>0$(判断和实际的符号不一致，相乘结果小于0，加上负号后大于0)
设$M\subseteq T$时$S$关于所有误分类点的集合，且令

$$L(\omega ,b)=-\sum _{(x_i,y_i)\in M}{y}_i(\omega \cdot x_i+b)$$
$L(\omega ,b)$常被称为感知机的损失函数，其值显然是非负的。如果没有误分类点，损失函数等于0，误分类点越少，损失函数值越小。所以感知机的学习策略就是选取参数$:\omega$和$b$使$L(\omega ,b)$达到最小值。

感知机学习算法

对于给定的训练集$T$,感知机的学习损失函数$L(\omega ,b)$是$:\omega$和$b$的连续可导函数。确定最优的$:\omega$和$b$的问题转化为求解损失函数$L(\omega ,b)$的最优问题，而最优化问题采用随机梯度下降法。

1.感知机学习算法的原始形式
给定一个数据集：$T=\left\{\begin{array}{cccc}(x_1,y_1)& (x_2,y_2)& ...& (x_N,y_N)\end{array}\right\}$,$x\in X\subseteq {\mathbb{R}}^n$，$y_i=\left\{\begin{array}{c}+1,-1\end{array}\right\}$,求参数$\omega$和$b$，使其为一下损失函数极小化问题的解$$\underset{\omega ,b}{\min }L(\omega ,b)=-\sum _{(x_i,y_i)\in M}{y}_i(\omega \cdot x_i+b)$$其中$M\subseteq T$时$S$关于所有误分类点的集合。
感知机的学习算法是误分类驱动的，采用随机梯度下降法，首先任意选取一个超平面$\omega$和$b$，然后用梯度下降法不断极小化损失函数，极小化的过程不是一次使$M$中的所有误分类点的梯度下降，而是一次选取一个误分点使其梯度下降。
设误分点的集合$M$是固定的，那么损失函数$L(\omega ,b)$的梯度为：$${▽}_{\omega }L(\omega ,b)=-\sum _{(x_i,y_i)\in M}{y}_i{x}_i$$$${▽}_{\omega }L(\omega ,b)=-\sum _{(x_i,y_i)\in M}{y}_i$$,随机选取一个误分点$(x_i,y_i)\in M$,对$\omega$和$b$进行更新。$$\omega \leftarrow \omega +\eta y_i{\mathbf{x}}_{\mathbf{i}}$$$$b\leftarrow b+\eta y_i$$参数更新表达式中的$\eta$是步长或学习率。

例：

零件编号	宽度(wid)$z1$	长度(len)$z2$	检验类别
1	3	3	正品
2	4	3	正品
3	1	1	次品

令$x_1=(3,3),y_1=1;x_2=(4,3),y_2=1;x_2=(1,1),y_3=-1$,则有$T=\left\{\begin{array}{ccc}(x_1,y_1)& ,(x_2,y_2)& ,(x_3,y_3)\end{array}\right\};$,其中$(x_1,y_1)$和$(x_2,y_2)$为正实例点，$(x_3,y_3)$为负实例点。
(1)设置初始值${\omega }_0=(0,0),b_0=0,\eta =1$
(2)对$x_1=(3,3),y_1(\omega \cdot x_1+b)=0$未能被正确分类，更新参数模型：$${\omega }_1={\omega }_0+y_1{x}_1=(3,3),b_1=b_0+y_1=1$$(3)$x_1,x_2$被正确分类，而$x_3=(1,1),y_1(\omega \cdot x_1+b)<0$,更新参数模型：$$omeg{a}_2={\omega }_1+y_3{x}_3=(2,2),b_2=b_1+y_3=0$$如此继续下去，直到${\omega }_7=(1,1),b_7=-3$。整个迭代计算过程见表：

迭代次数	误分类点	$\omega$	$b$	$\omega \cdot x_1+b$
0		（0，0）	0
0	$x_1$	（0，0）	1	$3wid+3len+1$
2	$x_3$	(2，2)	0	$2wid+2len$
3	$x_3$	(1，1)	-1	$wid+len$-1
4	$x_3$	(0，0)	-2	$-2$
5	$x_1$	(3，3)	-1	$3wid+3len-1$
6	$x_3$	(2，2)	-2	$2wid+2len-2$
7	$x_3$	(1，1)	-3	$wid+len-3$
8		(1，1)	-3	$wid+len-3$

在整个感知机的迭代算法中,若某个迭代过程有多个误分类点，那么选择不同的误分点，会得到不同的分离超平面。基于不同的初始值，也会的到不同的解。

例题R语言代码如下：

perception<-function(x,class,eta=1)
  #x为样本的特征矩阵，class为样本的分类标签，eta为学习步长
{
  ma<-as.matrix(x)
  N<-nrow(x)  #计算样本容量
  w<-rep(0,times=ncol(x))
  b<-0   #初始化w，b
         while(TRUE)
         {
           k<-0
           for(i in 1:N)
           {
             if(y[i]*(ma[i,]%*%w+b)<=0)
             {
               w<-w+eta*y[i]*ma[i,]
               b<-b+eta*y[i]
               k<-k+1
             } 
           }
           if(k==0) break 
         }
         return(list(w=w,b=b))
}
x<-data.frame(x1=c(3,4,1),x2=c(3,3,1))
y<-c(1,1,-1)
model<-perception(x,y)
print(model)

2.感知机学习算法的对偶形式
在例题中的感知机迭代过程中，设置初始值${\omega }_0=(0,0),b_0=0,\eta =1$
第一次迭代，由于对$x_1=(3,3)$为误分点，更新参数模型：$${\omega }_1={\omega }_0+y_1{x}_1=(3,3),b_1=b_0+\eta \cdot y_1=1$$第二次迭代，由于对$x_3=(1,1)$是误分点，更新参数模型：$${\omega }_2={\omega }_1+\eta \cdot y_3{x}_3=\eta \cdot y_1{x}_1+\eta \cdot y_3{x}_3=(2,2)$$$$b_2=b_1+\eta \cdot y_3=\eta \cdot y_1+\eta \cdot y_3=0$$第三次迭代由于对$x_3=(1,1)$是误分点，更新参数模型：$${\omega }_3={\omega }_2+\eta \cdot y_3{x}_3=\eta \cdot y_1{x}_1+2\eta \cdot y_3{x}_3=(1,1)$$$$b_3=b_2+\eta \cdot y_3=\eta \cdot y_1+2\eta \cdot y_3=-1$$第四次迭代由于对$x_3=(1,1)$是误分点，更新参数模型：$${\omega }_4={\omega }_3+\eta \cdot y_3{x}_3=\eta \cdot y_1{x}_1+3\eta \cdot y_3{x}_3=(0,0)$$$$b_4=b_3+\eta \cdot y_3=\eta \cdot y_1+3\eta \cdot y_3=-2$$第五次迭代由于对$x_1=(3,3)$是误分点，更新参数模型：$${\omega }_5={\omega }_4+\eta \cdot y_3{x}_3=2\eta \cdot y_1{x}_1+3\eta \cdot y_3{x}_3=(3,3)$$$$b_5=b_4+\eta \cdot y_1=2\eta \cdot y_1+3\eta \cdot y_3=-1$$第六次迭代由于对$x_3=(1,1)$是误分点，更新参数模型：$${\omega }_6={\omega }_5+\eta \cdot y_3{x}_3=2\eta \cdot y_1{x}_1+4\eta \cdot y_3{x}_3=(2,2)$$$$b_6=b_5+\eta \cdot y_3=2\eta \cdot y_1+4\eta \cdot y_3=-2$$第七次迭代由于对$x_3=(1,1)$是误分点，更新参数模型：$${\omega }_7={\omega }_6+\eta \cdot y_3{x}_3=2\eta \cdot y_1{x}_1+5\eta \cdot y_3{x}_3=(1,1)$$$$b_7=b_6+\eta \cdot y_3=2\eta \cdot y_1+5\eta \cdot y_3=-3$$从这个过程中可以发现，当初始值${\omega }_0=(0,0),b_0=0$时，感知机模型的参数可以表示为数据集中实例点的线性合：$$\omega =2\eta \cdot y_1{x}_1+0\eta \cdot y_2{x}_2+5\eta \cdot y_3{x}_3$$$$b=2\eta \cdot y_1+0\eta \cdot y_2+5\eta \cdot y_3$$令${\alpha }_1=2{\eta }_1,{\alpha }_2=0{\eta }_2,{\alpha }_3=5{\eta }_3$,则有$$\omega ={\alpha }_1{y}_1{x}_1+{\alpha }_2{y}_2{x}_2+{\alpha }_3{y}_3{x}_3=\sum _3^{j=1}{\alpha }_j{y}_j{x}_j$$$$b={\alpha }_1{y}_1+{\alpha }_2{y}_2+{\alpha }_3{y}_3=\sum _3^{j=1}{\alpha }_j{y}_j$$${\alpha }_j=n_j\eta$为$x_j$被误分的次数，$n_j$越大表示实例点$(x_j,y_j)$离分离超平面越近，就越难被分类。将$\omega ={\sum }_3^{j=1}{\alpha }_j{y}_j{x}_j$带入感知机的原始形式就得到感知机的对偶形式，在该形式下，分离超平面为$$\sum _3^{j=1}{\alpha }_j{y}_j{x}_j\cdot \mathbf{x}+b=0$$而感知机模型为$$f(x)=sign(\sum _3^{j=1}{\alpha }_j{y}_j{x}_j\cdot \mathbf{x}+b)$$这种算法旨在求解$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$和$b$。

对偶形式的感知机R语言代码：

perception_pair<-function(x,class,eta=1)
  #x为样本的特征矩阵，class为样本的分类标签，eta为学习步长
{
  ma<-as.matrix(x)
  N<-nrow(x)  #计算样本容量
  a<-rep(0,times=N)
  w<-vector(length = ncol(x));b<-0   #初始化w，b
  gram<-ma%*%t(ma)
  while(TRUE)
  {
    k<-0
    for(i in 1:N)
    {
      if(y[i]*(sum(a*y*gram[,i])+b)<=0)
               {
                 a[i]<-a[i]+eta
                 b<-b+eta*y[i]
                 k<-k+1
      } 
    }
    if(k==0) break 
  }
  for (i in 1:N) {
    w<-w+a[i]*y[i]*ma[i,]
  }
  return(list(a=a,w=w,b=b))
}
model_pair<-perception_pair(x,y)
model<-perception(x,y)
print(model)