统计学习方法-李航 第二章 感知机

《统计学习方法》第一篇博文，对应原著第二章，感知机， 通过对原著的理解，在加上自己的推导，后面有时间再加上代码的实现。

感知机模型

感知机是一个二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值。

感知机的几何解释是，线性方程

将特征空间划分为正负两个部分：

这个平面（2维时退化为直线）称为分离超平面。

学习策略

假定数据集线性可分，我们希望找到一个合理的损失函数。

一个朴素的想法是采用误分类点的总数，但是这样的损失函数不是参数w，b的连续可导函数，不可导自然不能把握函数的变化，也就不易优化（不知道什么时候该终止训练，或终止的时机不是最优的）。

另一个想法是选择所有误分类点到超平面S的总距离。为此，先定义点x0到平面S的距离：

分母范数||W||是w的L2范数，所谓L2范数，指的是向量各元素的平方和然后求平方根（长度）。这个式子很好理解，回忆中学学过的点到平面的距离：

此处的点到超平面S的距离的几何意义就是上述距离在多维空间的推广。

如果点i被误分类，一定有

成立，因为当WXi + b > 0 时 ，y = -1 ,WXi + b < 0 时 ，y =+1 ，所以我们去掉了绝对值符号，得到误分类点到超平面S的距离公式：

假设所有误分类点构成集合M，那么所有误分类点到超平面S的总距离为

分母作用不大，反正一定是正的，不考虑分母，就得到了感知机学习的损失函数：

感知机学习算法

1、原始形式

例2.1，推导过程：

2、对偶形式

例2.2，推导过程：