统计学习方法 第二章 感知机 主体内容

读书笔记系列

统计学习方法 第二章 感知机模型

一. 感知机的模型

感知机的模型大概是一个 $f(x)=sign(w\cdot x+b)$的结构

三要素是：假设空间：所有输入空间内的线性分类模型，输入空间是n维向量 $X$,输出空间是 $Y$等于 $\{+1，-1\}$集合。

学习策略: 最小化损失函数 $L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$

二.感知机的学习算法

随机梯度下降法： 首先根据梯度下降的思想求出梯度的负方向

$\frac{\partial L(w,b)}{\partial w}=-\sum _{x_i\in M}{y}_i{x}_i$

$\frac{\partial L(w,b)}{\partial b}=-\sum _{x_i\in M}{y}_i$

因此步骤是：
（1） 设置$w_0$,$b_0$ 初始值
（2）选取$(x_i,y_i)$
(3)如果$y_i(w\cdot x_i+b)\le 0$ 则更新 $w$ , $b$
$w\leftarrow w+\eta y_i{x}_i$
$b\leftarrow \eta y_i$
(4)迭代后重新进入（2）
这里是随机梯度下降，好处在于不仅减小了数据量 并且可能在前面误分类点更新可以减少多个误分类点，而不同于整体的 梯度下降。

三.感知机的收敛性

这里省略证明步骤啦 hhhh 主要我看的也不大懂，有兴趣看书吧

四.感知机学习算法的对偶形式

就是将$w$换成了$\sum _{j=1}^N{a}_j{y}_j{x}_j$ 保持$b$的形式不变

在随机梯度下降的过程中，可以变为$a_i\leftarrow a_i+\eta$ 其中 $i$ 表示的是误分类的点$xi$的下标。

这种对偶形式的好处在于，原始形式每更新一次$w$是更新整个$w$向量，并且$w\cdot x$的过程是$O(n^2)$的，也就是说每次更新的效率较低，而对偶变换后，为$\sum _{j=1}^N{a}_j{y}_j{x}_j\ast x$根据结合律可以之考虑$x_j\ast x$,这里可以预处理一个$n^2$的表（称之为$Gram$矩阵 $G=[x_i\cdot x_j{]}_{N\times N}$)，然后$O(1)$查询，显然更好更快。

这种对偶形式的原理在于收敛性验证后，将初始值赋为$w_0=0,b_0=0$这里的$w_0$是0向量,$w$的最后表示形式一定是$\sum _{j=1}^N{a}_j{y}_j{x}_j$ ，所以可以这样做。