统计学习方法第二章

统计学习方法第二章

思维导图

（是不是像目录的结构，就这样结束太草率）

具体解释：

感知机

感知机是二类分类的线性分类模式，输入为实例的特征向量（输入向量的不同分量结合在一起就是指特征向量），输出为实例的类别。

感知机模型

具体做的一件事情就是通过将W乘以X（都为矩阵）加上一个常数项来拟合数据。也就是书上说的得到一个分离超平面。

（对于属性为二维的情况）

感知机学习策略

我们需要做的就是将这个函数最小化。等价于对于特定的输入输入空间，我们找到一个分离超平面（我认为这个超平面可能是唯一的，但是梯度下降法只能得到局部最小值，所以通过学习算法得到的分离超平面不是唯一的，我们需要一些SVM的方法来得到一个唯一的分离超平面）

感知机学习算法

这就是普通的梯度下降法（如果需要了解梯度下降，click中的Learning with gradient descent）
同时在这一部分我们证明了该算法的收敛性（就是说一定可以找到一个损失函数的局部最小值，使得所有数据都能够被分离超平面分离）
为了使得本章与SVM表示方法相对应，我们做出了如下更改：

我们的算法就会变为如下形式：


这个也就是我们所说的对偶形式

---

感谢李航老师《统计学习方法》