感知机模型

感知机

感知机时神经网络的雏形，是线性二分类器，输入实例的特征向量，输出1，-1进行实例的分类。感知机模型是寻找N维空间的超平面。(超平面是指将空间一分为二的平面，N维空间的超平面为N-1维，如二维平面的超平面是一条直线，三维空间的超平面是一个平面)。
感知机模型的表示：
$f(x)=sign(w\cdot x+b)$
其中，$w$和b是模型的参数，需要学习的，$w$为该超平面$w\cdot x+b=0$的法向量。

感知机学习

感知机模型重要就是确定超平面，就是求出$w,b$这两个参数。方法就是建立一个目标函数，就行迭代求优。该目标函数往往为损失函数(当前模型与实际真实模型的差距)，通过梯度下降，最小化损失函数。
自然容易想到的是，统计训练数据分类分错的样本个数，但是他无法用函数表示，就是无法就行微分，不能用梯度下降。因此采用另一个方法，计算误分类的点到超平面的距离$d$,损失函数就是所有误分类点到超平面的距离的总和。
$$L(w,b)=\sum d_i$$

点到超平面的距离计算

设样本点$x_0$，在超平面$w\cdot x+b=0$的投影(作垂线)为$x_1$,则所求的距离d就是向量$x_0{x}_1$的模长。显然$w$和$x_0{x}_1$平行，则有：
$$w\cdot x_0{x}_1=|w||x_0{x}_1|cos(0or\pi )$$
由于方向存在同向，方向，会出现正负，但是我们只关心值大小，因此给他加个绝对值。
$$|w\cdot x_0{x}_1|=|w||x_0{x}_1|=\sqrt{w_1^2+w_2^2...}d$$
向量的模长可以用二范式表示。
$$|w\cdot x_0{x}_1|=|w||x_0{x}_1|=||w||d$$
又有：
$$w\cdot x_0{x}_1=w^1(x_1^1-x_0^1)+w^2(x_1^2-x_0^2)+w^3(x_1^3-x_0^3)....$$
$$=(w^1{x}_1^1+w^2{x}_1^2+w^3{x}_1^3+...)-(w^1{x}_0^1+w^2{x}_0^2+w^3{x}_0^3+...)=w\cdot x_1-w\cdot x_0$$
因为$x_1$在超平面上，满足$w\cdot x_1+b=0$
原式就可化简：
$$w\cdot x_0{x}_1=-b-w\cdot x_0$$
$$|w\cdot x_0{x}_1|=|b+w\cdot x_0|=||w||d$$
样本到超平面距离为：
$$d=\frac{|b+w\cdot x_0|}{||w||}$$
因为$x_0$是误分类的样本，则其真值$y_0$(-1或1)必然和$b+w\cdot x_0$是正负相反(相同那分类就对了)。因此$y_0(b+w\cdot x_0)<0$，则：
$$d=\frac{-y_0(b+w\cdot x_0)}{||w||}$$
假设总共有n个误分类的样本，则总的距离差为：
$$\sum _i\frac{-y_i(b+w\cdot x_i)}{||w||}$$
感知机模型重点是分类，不关心距离超平面的距离大小，因此可以不考虑$\frac{1}{||w||}$，因此可以得到误差函数为：
$$L(w,b)=-\sum y_i(b+w\cdot x_i)$$
梯度下降求参数
目标函数：$$minL(w,b)=-\sum y_i(b+w\cdot x_i)$$
函数对$w,b$求偏导.

因为是最小化目标函数，因此要沿着梯度的负方向进行更新参数。

在实际应用中，并不是统计完所有误分类的样本，在进行梯度下降更新参数，而是采用随机梯度下降，出现误分类点就进行一次梯度下降，更新参数。

$\eta$是学习率，控制更新的幅度，一般来讲不能太大。

参考：

https://zhuanlan.zhihu.com/p/53892602