《统计学习方法》第二章: 感知机 读书笔记

一切为了数据挖掘的准备

2.感知机

2.1感知机模型

• 感知机：二类分类的线性模型。
• 数学表达：输入空间$X\subseteq R^n$，输出空间是$y=\{+1,-1\}$，输入实例x,输出实例y,输入空间到输出空间的函数：$f(x)=sign(wx+b)$,$w\in R^n$,叫做权值，$b\in R$叫做偏置。sign函数是符号函数$sign(x)=\{\begin{array}{ll}+1,& x⩾0\\ -1,& x<0\end{array}$
• 分离超平面S：$wx+b=0$对应一个超平面S，w是超平面的法向量，b是超平面的截距，可以将样本点分为正、负两类。
• 对于数据集T，对所有的$y_i=+1$的实例，$w{x}_i+b>0$;$y_i=-1$的实例，$w{x}_i+b<0$,则数据集T为线性可分数据集。

2.2感知机学习策略

• 输入空间$R^n$中任一点$x_0$到超平面S的距离：$\frac{1}{||w||}|w{x}_0+b|$,$||w||$是w的$L_2$范数
• 如果数据正确分类$y_i(w{x}_i+b)>0$,如果被误分类$y_i(w{x}_i+b)<0$,误分类点到超平面S的距离$-\frac{1}{||w||}{y}_i(w{x}_i+b)$
• 损失函数：$L(wx+b)=-{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$，M为误分类的点。这个损失函数就是感知机的经验风险函数。

2.3感知机学习算法

感知机学习算法的原始形式

• 损失函数极小化：$minL(wx+b)=-{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$

• 梯度下降：
  $${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$
  $${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$
  $$w\leftarrow w+\eta y_i{x}_i$$
  $$b\leftarrow b+\eta y_i$$

• 算法过程

  • 选取初值$w_0,b_0$
  • 在训练集中选取数据$(x_i,y_i)$
  • 如果$y_i(w{x}_i+b)⩽0$,$w\leftarrow w+\eta y_i{x}_i,b\leftarrow b+\eta y_i$，直至此点被正确分类
  • 转至第二步，直至训练集中没有误分类点

感知机学习算法的对偶形式

将最后学习到的w,b表示为$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i,b={\sum }_{i=1}^N{\alpha }_i{y}_i$,${\alpha }_i>0$,N为样本量

• 算法过程：感知机模型$f(x)=sign({\sum }_{j=i}^N{\alpha }_j{y}_j{x}_{j}x+b)$,其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$
  • $\alpha \leftarrow 0,b\leftarrow 0$
  • 训练集中选数据$(x_i,y_i)$
  • 如果$y_i{\sum }_{j=i}^N{\alpha }_j{y}_j{x}_j{x}_i+b⩽0$,${\alpha }_i\leftarrow {\alpha }_i+\eta ,b\leftarrow b+\eta y_i$

2.4感知机学习算法收敛证明

设最后线性可分数据集学习的结果为${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$,$||{\hat{w}}_{opt}||=1$.

• 存在$\gamma$，对数据集中所有数据，满足$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=w_{opt}\cdot x_i+b_{opt}⩾\gamma$，即$\gamma$为离超平面最近的点的距离。
• 假设第k次学习后的学习结果能将数据集完全正确的分开。
  $${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$$
  $$w_k\leftarrow w_{k-1}+\eta y_i{x}_i,$$
  $$b_k\leftarrow b_{k-1}+\eta y_i,$$
  $${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$$
  $${\hat{w}}_k\cdot {\hat{w}}_{opt}={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}{\hat{x}}_i⩾{\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma ⩾{\hat{w}}_o\cdot {\hat{w}}_{opt}+k\eta \gamma$$
  $$||{\hat{w}}_k|{|}^2=||{\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i|{|}^2=||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}{\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2⩽||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2⩽||{\hat{w}}_0|{|}^2+k{\eta }^2{R}^2$$
  $$k\eta \gamma ⩽{\hat{w}}_k\cdot {\hat{w}}_{opt}⩽||{\hat{w}}_k||||{\hat{w}}_{opt}||⩽||{\hat{w}}_k|{|}^2⩽\sqrt{k}\eta R$$
  $$k⩽(\frac{R}{\gamma }{)}^2$$

---

2.5 我的实现，不一定简便

import numpy as np
class Perception:
    def __init__(self,x,y):
        self.tdx = np.array(x)
        self.tdy = np.array(y)
        self.w = np.zeros(self.tdx[0].shape)
        self.b = 0
        
    def train(self):
        n = 0
        #当存在分类错误的数据时，计算
        while np.sum((np.dot(self.tdx,self.w)+self.b)*self.tdy<=0)>0:
            for xi,yi in zip(self.tdx,self.tdy):
                #当此数据计算错误时，更新
                while yi*(np.dot(xi,self.w)+self.b)<= 0:
                    self.w += yi*xi
                    self.b += yi
                    n += 1
                    print('w:',self.w,' b:',self.b,' 第%d次迭代'%n)
                #如果全部数据被分类正确
                if np.sum((np.dot(self.tdx,self.w)+self.b)*self.tdy<0)== 0:
                    break
        return self.w,self.b

x=[[3,3],[4,3],[1,1]]
y=[1,1,-1]
p = Perception(x,y)
wo,bo=p.train()
print(wo,bo)