机器学习之感知器算法的设计实现（多分类）

本次实验旨在掌握感知器算法，利用它对输入的数据进行多类分类。

1.实验原理

1． 感知器基本原理
感知准则函数是五十年代由 Rosenblatt 提出的一种自学习判别函数生成方法，由于Rosenblatt 企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。
用对所有错分样本的求和来表示对错分样本的惩罚，代价函数定义如下：

显然，J≥0。当代价函数 J 达到最小值 0 时，所有的训练向量分类都全部正确。为了计算代价函数的最小迭代值，可以采用梯度下降法设计迭代算法，即：

下一时刻的权向量是把当前时刻的权向量向目标函数的负梯度方向调整一个修正量，其中为步长。通过不断更新 w，这种算法就称为感知器算法（perceptron algorithm）。可以证明，这种算法在经过有限次迭代之后是收敛的，也就是说，根据此规则修正权向量，可以让所有的特征向量都正确分类。