感知机（perceptron）

 

二类分类的线性分类模型，属于判别模型，利用梯度下降法对损失函数进行极小化求得感知机模型分为原始形式和对偶形式，是神经网络和支持向量机的基础

由输入控件到输出控件的如下函数：

f（x)=sign（W。X+b）

损失函数定义为：

其中||w||为w的L2范式

 

L1范式约束一般为：

        

 

    L2范式约束一般为:

            

误分点xi到超平面s的距离是

因此损失函数其中M是误分点的集合

目标是：

 

感知机学习问题转化为求解此式的最优化问题，最优化方法是随机梯度下降法（stochastic gradient descent）（按照数学模型，沿着梯度方向是下降或者上升最快的方向）

极小化的过程是一次随机选取一个误分点使其梯度下降

 

 

 

 

感知机学习算法由于采用不同的初值或者选取不同的误分点，解可以不同

感知机学习算法的对偶形式

 

 

算法：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

其中在上述判断的式子中xi与xj都为向量

感知机的拓展算法有口袋算法、表决感知机，带边缘感知机