R语言：感知机模型（二）

Hello，大家好！今天给大家分享的是感知机模型的对偶形式，这篇发完后第二章感知机就结束了，后续会直接跳到第七章支持向量机；另外理论推导和证明大家直接看书（文末可获得电子书），就不再抄一遍了，只写算法思路和代码实现。

算法：感知机学习算法的对偶形式

李航《统计学习方法》（第2版）P44——算法2.2

输入：线性可分的数据集$T=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$，其中$x_i\in {\mathbf{R}}^n,y_i\in \{-1,+1\},i=1,2,\dots ,N$；学习率$\eta (0<\eta ⩽1)$；
输出：$\alpha ,b$；感知机模型$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\bullet x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N{)}^T$。

（1）$\alpha \leftarrow 0,b\leftarrow 0$；

（2）在训练集中选取数据$(x_i,y_i)$；

（3）如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\bullet x_i+b)⩽0$，
KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \alpha_i & \le…
（4）转至（2）直到没有误分类数据

对偶形式中训练实例仅以内积的形式出现。可预先以矩阵的形式储存，即Gram矩阵
$$G=[x_i,x_j{]}_{N\times N}$$

R语言代码

上一篇是直接用了李航书里的习题案例，这次随机生成20个数据来玩玩：

x1<-runif(20,0,10)
x2<-runif(20,0,10)
y<-sign(1.7*x1-3.1*x2+1.2)
data <- data.frame(y=y,x1=x1,x2=x2)

注：图中虚线是真实分离超平面，用于后续参照。

（1）设置初值${\alpha }_0,b_0$；学习率$\eta$；最大迭代次数；Gram矩阵;

y<-as.matrix(data[,1])
x<-as.matrix(data[,-1])
eta<-0.5
max_iter<-100
alpha<-matrix(0,nrow(data),1)
b<-0
G<-x%*%t(x)

（2）循环判断$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\bullet x_i+b)$的结果中是否有$⩽0$的样本；如果有，则更新$\alpha ,b$；

out<-FALSE
for (k in 1:max_iter) {
  for (i in 1:nrow(data)) {
    if (y[i]*(sum(alpha*y*G[i,])+b)<=0){
      alpha[i]<-alpha[i]+eta
      b<-b+eta*y[i]
      break()
    }
    if (y[i]*(sum(alpha*y*G[i,])+b)>0 & i==nrow(data)){
      out<-TRUE
      print(paste(c("w1:","w2:"),c(sum(alpha*y*x[,1]),sum(alpha*y*x[,2]))))
      print(paste("b:",b))
      }
  }
  if (out){break}
}

注：

上篇文章里面直接用矩阵运算代替了循环，这次完全按照算法，循环判断，可以明显看出样本量如果越大，运算效率是非常低下的；所以封装的时候还是用矩阵运算来代替，具体见完整代码

效果展示

老样子制作了一个动图，来观看每次的迭代效果，最终得到的结果为$w_1=4.1,w_2=-7.3,b=1.5$，成功分离了所有的样本点。

相关文章

• 李航《统计学习导论》第二章 感知机：R语言：感知机模型（一）

资源获取

• 关注公众号，回复“《统计学习方法》”，获得电子书；
• 关注公众号，回复“感知机二”，获得本文完整代码。