统计学习方法笔记,第二章笔记, 感知机

2.1 感知机模型

模型函数:

其中

感知机属于线性模型,因为其含有

超平面将空间分为两个部分,位于超平面两侧的点分别是正、负两类。


2.2 感知机的学习策略

感知机模型的学习策略是让误分类的点到超平面的距离最小。那么误分类的点怎么求呢?

我们已知对于一个点,如果被正确分类,那么 预测结果 与真实的分类 应该是同号的,即

 或 ,所以当分类错误时,两者符号应该是相反的。因此有:


我们通过几何知识可知,对于空间中的一个点,它到超平面的距离为:


因此,所有的误分类点到超平面的距离之和为:


不考虑  ,我们得到损失函数


也就是经验风险函数


2.3 感知机学习算法


根据2.2的学习策略,我们把问题转化为了求经验风险函数的最小值问题,即求


采用梯度下降法就可以求解了,分别对w和b求导得到:



迭代方式为:



其中步长  为学习率, 的选择非常重要,太小则影响迭代速度,太大则可能跳过最小值点。

需要注意的是,由于w和b的初始值选取具有随机性,因此对于线性可分的数据集,不同初始值可能得到不同的分类超平面,对于线性不可分的数据集,迭代结果可能发生震荡



你可能感兴趣的:(《统计学习方法》笔记)