主要介绍四种不同线性分类模型：感知器

        我们主要介绍四种不同线性分类模型：logistic 回归、softmax 回归、感知器和支持向量机，这些模型区别主要在于使用了不同的损失函数。     

             感知器（Perceptron）由Frank Roseblatt 于1957 年提出，是一种广泛使用的线性分类器。感知器可谓是最简单的人工神经网络，只有一个神经元。

           感知器是对生物神经元的简单数学模拟，有与生物神经元相对应的部件，如权重（突触）、偏置（阈值）及激活函数（细胞体），输出为 +1或 -1。

            感知器是一种简单的两类线性分类模型，其分类准则与公式(3.5) 相同。

                                    

                          

参 数 学 习 

           感知器学习算法也是一个经典的线性分类器的参数学习算法。.

         

           感知器的学习算法是一种错误驱动的在线学习算法[Rosenblatt, 1958]。先初始化一个权重向量w ← 0（通常是全零向量），然后每次分错一个样本(x, y) 时，即，就用这个样本来更新权重。

                                     

 感知器参数学习策略如算法3.1:

                                     

                         

                            

 感知器的收敛性

           证明对于两类问题，如果训练集是线性可分的，那么感知器 算法可以在有限次迭代后收敛。然而，如果训练集不是线性分隔的，那么这个算法则不能确保会收敛。

                ·

              虽然感知器在线性可分的数据上可以保证收敛，但其存在以下不足之处：

                      1.  在数据集线性可分时，感知器虽然可以找到一个超平面把两类数据分开，但并不能保证能其泛化能力。
                     2.  感知器对样本顺序比较敏感。每次迭代的顺序不一致时，找到的分割超平面也往往不一致。
                    3.  如果训练集不是线性可分的，就永远不会收敛[Freund and Schapire, 1999]。