《统计学习方法》读书笔记——第2章 感知机

总结:感知机是一个二分类线性分类模型,旨在用一个超平面将数据线性划分。

一、模型

感知机使用的函数是:f(X)=sign(w*X+b),sign是符号函数,sign(x)表示如果x>0则为1,x<0则取-1。

几何意义就是一个超平面S,将空间分为两部分,一部分为正、一部分为负

(感知机只适合线性可分的数据集)

二、策略

误分类点到超平面S的距离和作为损失函数(为了方便计算,真正的损失函数做了一些调整)

误分类点到超平面距离:《统计学习方法》读书笔记——第2章 感知机_第1张图片

等价于:《统计学习方法》读书笔记——第2章 感知机_第2张图片

求和,去掉常数项||w||,得到损失函数:《统计学习方法》读书笔记——第2章 感知机_第3张图片

三、算法

1、原始形式

首先任取一个超平面,w0、b0,然后采用梯度下降法不断优化目标函数(使损失函数极小)

损失函数的梯度:

《统计学习方法》读书笔记——第2章 感知机_第4张图片

算法步骤:1)选取初值w0、b0

                   2)在训练集中选取数据(xi,yi)

                   3)如果yi(wxi+b)<=0,即该点为误分类点,则进行梯度下降:

                          《统计学习方法》读书笔记——第2章 感知机_第5张图片

                   4)转到(2)直到训练集中没有误分类点

2、对偶形式

由原始形式可以发现,算法主要是在误差点处通过《统计学习方法》读书笔记——第2章 感知机_第6张图片修改w和b的值。

假设误差点修改次数为ni次,那么w,b关于点(xi,yi)的增量分别为aiyixi,aiyi (ai=ni*学习率)

那么:

《统计学习方法》读书笔记——第2章 感知机_第7张图片《统计学习方法》读书笔记——第2章 感知机_第8张图片

把w、b用上式带入,就可以得到对偶形式方法。

算法步骤:1)a<-0,b<-0(其中a = (a1,a2....an)T)

                   2)选取点(xi,yi)

                   3)如果《统计学习方法》读书笔记——第2章 感知机_第9张图片,说明是误分类点,则:

                         ai<-ai+学习率

                         b<-bi+学习率

                  4)转至2)直到没有误分类点

由于对偶形式中训练数据仅以内积形式出现,因此可以预先计算出内积并以矩阵形式存储,这就是Gram矩阵

               

 

你可能感兴趣的:(统计学习方法笔记)