统计学习方法 学习笔记（2）感知机

感知机的概述：

• 感知机是用于二分类的线性分类模型。
• 输入为实例对象的特征向量，输出为实例的类别，类别用±1表示。
• 感知机将实例划分为正负两类分离超平面，属于判别模型。
• 感知机算法通过随机梯度下降法进行求解。
• 感知机算法的优点在于简单且易于实现。
• 感知机算法是神经网络算法和支持向量机算法的基础。

2.1.感知机模型

感知机的定义：假设输入空间包含于R^n，输出空间是Y={+1,-1}。输入x表示实例对象的特征向量，对应于输入空间中的点；输出y表示实例的类别。由输入空间到输出空间的如下函数：

f(x)=sign(w*x+b)

称为感知机。其中w和b称为感知机模型参数：w称为权值或权值向量，b称为偏置，w*x表示w和x的内积。sign是符号函数（只能取±1）。

感知机模型类别：感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间定义在特征空间中的所有线性分类模型。

感知机的几何解释：线性方程wx+b=0对应于特征空间中的一个超平面，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两部分，位于这两部分的点分别被分为正类和负类，因此该超平面被称为分离超平面。

感知机运行过程：由输入的训练集数据求出感知机模型的参数w和b，之后通过学到的模型对新的输入实例输出其对应的输出类别。

2.2.感知机学习策略

数据的线性可分性（定义）：如果对于一个给定数据集，存在一个超平面，能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称该数据集为线性可分数据集，否则称该数据集线性不可分。

感知机学习策略：以误分类点到超平面的总距离作为损失函数，在假设空间中选取使得损失函数值最小的模型参数。

范数：范数是线性代数中的知识点，针对某一个向量而言的。对于某一个向量，其L1范数即向量中所有元素的绝对值的和；其L2范数即向量中所有元素的平方和开根号。

2.3.感知机学习算法

感知机学习算法概述：感知机采用随机梯度下降法进行学习。

随机梯度下降算法的入门级介绍：随机梯度下降算法 入门介绍（最通俗易懂）

感知机学习算法的原始形式：

• 输入内容：训练数据集、学习率n。
• 输出内容：感知机模型，包含权值向量和偏置的值。
• 算法流程：

1.首先设置权值和偏置的初值；
2.每次从训练数据集中选择一个数据(xi,yi）；
3.如果yi×(w×xi+b)<=0，则更新权值向量和偏置：w=w+n×yi×xi；b=b+n×yi。
4.继续执行第二步，直到训练集中不存在分类错误的点。

感知机算法的优点：算法过程简单且容易实现。

感知机注意事项：选择不同的初值或者选择不同的误分类点，得到的结果可能不同。

感知机算法的原始形式的收敛性：对于线性可分数据集感知机学习算法的原始形式一定收敛，也就是经过有限次迭代后可以得到一个将训练集完全正确划分的分离超平面和感知机模型。同时，误分类的次数也是有上界的。

感知机学习算法的对偶形式的基本思想：将权重向量和偏置标识为实例xi和标记yi的线性组合形式，通过求解其系数从而求出权重向量和偏置。