统计学习方法读书笔记 第二章 感知机 【自用】

第二章 感知机

2.1 感知机模型

感知机是一种线性分类模型，属于判别模型

假设空间：

超平面：指比他所处环境空间小一维的子空间

2.2 感知机学习策略

感知机学习目标：求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。(即确定参数ω，b)

||ω||²=ω₁²+ω₂²+ω₃²······ω_n²

2.3 感知机学习的算法

感知机的学习算法是误分类驱动的，采用随机梯度下降法(stochastic gradient)。

首先任选一个超平面ω₀，b₀，然后用梯度下降法不断地极小化目标函数。

极小化过程不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降

梯度由对ω和b求偏导得来。

2.3.1 感知机学习算法的原始形式

即用误分类点对超平面进行不断的迭代与更新。

感知机学习算法由于采用不同的初值或者选取不同的误分类点，解可以不同

2.3.2 算法的收敛性

即通过有限次迭代，一定可以找到一个超平面是正负两例完全分开

2.3.3 感知机学习算法的对偶形式

基本想法：将ω和b表示为实例x_i和标记y_i的线性组合的形式，通过求解其系数从而求的ω和b。

对偶形式中训练实例仅以内积的形式出现。

为了方便，预先计算出训练集中实例间的内积并以矩阵形式存储。

成为Gram矩阵