统计学习方法笔记_cbr：第二章 感知机

第二章 感知机

2.1 感知机模型

感知机是二类分类的线性分类模型，判别模型

输入x（属于X）表示为实例的特征向量；对应与输入空间（特征空间）的点；输出y表示实例的类别取+1,-1；

输入空间到输出空间的函数：
f(x)=sign(w·x+b);

w和b为感知机模型参数；

w	b	sign（x)
权值	偏置	符号函数(x>=0,sign(x)=1;x<0,sign(x)=-1)

感知机学习旨在求出将训练数据进行线性划分的分离超平面；
感知机的几何解释：
线性方程:
w·x+b=0

其对应于特征空间R^n=中的一个超平面S,其中

w	b
超平面的法向量	超平面的截距

因为超平面S将特征空间的点分为正负两类，所以S又别称为分离超平面；

2.2感知机学习策略

2.2.1 数据集的线性可分性；

存在一个超平面S可将数据集中的正负实例完全无误分在超平面两侧；

2.2.2感知机学习策略

所有误分类点的到超平面的总距离：

（由于在后续算法中w的范数对算法停止条件无影响且不影响正负；所有省去）

导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型

损失函数：

感知机学习的策略是在假设空间中利用梯度下降法对损失函数进行极小化;选取使损失函数最小的模型参数w,b,即感知机模型：

2.3感知机学习算法

感知机学习算法：

原始形式	对偶形式

2.3.1 感知机学习算法的原始形式

感知机学习算法是误分类驱动的，具体采用随机梯度下降法；
算法2.1（感知机学习算法的原始形式）

（第二步，要将所有特征空间中的点都取遍，无误后，形成最终模型）

2.3.2 感知机学习算法的原始形对偶式

通过以下步骤实现原始形式到对偶形式的转换：

算法2.2（感知机学习算法的对偶形式）

模型的形成是各个实例点引起更新的累加作用，某个实例点引起的更新最多，则其对学习结果形成感知机模型的影响最大；
（3）详细展开

（为了方便，以矩阵形式存储数据；事先计算好所有内积，可以加快计算速度）

图片素材截至B站简博士