单点神经网络（1）：Perceptron模型定义

上一篇博文介绍了离线学习与在线学习的区别。在实际应用中，离线学习常用于回归问题，而在线学习常用于分类问题。之所以有这样的现象，是因为回归问题本身必须对实例的概率分布有一个前提假设，否则也就没有所谓的均方误差。而在分类问题中，虽然我们也假设训练样本中的实例是独立同分布获得的。但是，根据PAC学习保证，我们并不需要确切知道实例的概率分布是什么。

神经网络就是典型的在线学习分类方法。最简单，也是最原始的神经网络是单点神经网络，Rosenblatt于1958年提出的Perceptron模型，如下图。

Perceptron是一个线性模型。神经元的输入为 x1,x2,...,xm ，相应的权重为 w1,w2,...,wm 。同时，神经元还有一个偏移信号 b 。神经元的输出为

y=ϕ(v)

其中

v=b+∑i=1mwixi,

ϕ 是一个硬判决函数，它满足

ϕ(v)={−11如果v<0,如果v>0.

从上面的定义，我们可以知道，Perceptron是一个线性的二分类模型。它通过超平面

b+∑i=1mwixi=0

将空间 Rm 分成两部分，也即两类。

由于它本身模型的限制，Perceptron模型只能解决线性可分问题。在下文中，我们将介绍有效的线性分类算法。