感知机Perceptron

---

一、感知机模型

感知机 $y=sign(w^{T}x+b)$ 是一个简单的二分类模型，将类别的label设定为1和-1，针对线性可分的数据，感知机可以完全收敛（即将所有的训练样本正确分类）。
 

二、感知机损失函数

感知机的目标是寻找一个线性分离超平面$w^{T}x+b$，将线性可分的训练样本正确分类，$w$和$b$是需要学习的参数。

感知机损失函数的一个很自然的选择就是误分类点的个数，但是这样的损失函数并不是$w$和$b$的连续可导函数，于是，转换思路，感知机的损失函数可以使用误分类点到超平面的总距离，最小化此损失函数就是优化感知机的过程。

考虑误分类点$(x_i,y_i)$，其中$x_i$是一个$m$维向量$(x_i^1,x_i^2,x_i^3,...x_i^m)$，$y_i\in \{1,-1\}$，此点到分类超平面的距离为
$$distance=\frac{|w^T{x}_i+b|}{||w||}$$
对于误分类点来说，$|w^T{x}_i+b|=-y_i(w^T{x}_i+b)$，所以
$$distance=-y_i\frac{(w^T{x}_i+b)}{||w||}$$
设误分类点的集合为$S$，则感知机损失函数
$$L(w,b)=\frac{1}{||w||}\sum _{x_i\in S}-y_i(w^T{x}_i+b)$$
考虑我们可以始终将超平面法向量用单位向量来表示，即$||w||=1$，就可以把$||w||$从损失函数中删除，最终损失函数成为：
$$L(w,b)=\sum _{x_i\in S}-y_i(w^T{x}_i+b)$$

三、感知机优化

有了上面的损失函数，感知机的优化就变成如下问题的求解,
$$\underset{w,b}{\min }\sum _{x_i\in S}-y_i(w^T{x}_i+b)$$
采用随机梯度下降的方法进行优化，

1. 初始化$w$和$b$；
 
2. 针对初始化后的分类超平面，随机选择一个误分类点$(x_j,y_j)$，使用$w$和$b$的梯度对参数进行更新，即
$$w=w+\eta x_j{y}_j$$ $$b=b+\eta y_j$$
其中$\eta$是学习率；
 
3. 就这样一直优化参数，直到没有误分类点。