统计学习方法chapter2

统计学习方法chapter2

感知机模型

1.概述

感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1两类值。感知机是典型的判别模型，通过感知机所学习到的分离超平面将训练数据进行线性划分。
我们基于误分类的损失函数，利用常见的优化方法即梯度下降法对损失函数进行极小化，进而求出我们的感知机模型，感知机中的分类超平面和支持向量机中的最大间隔超平面类似；而且感知机模型后续发展到神经网络中的基础神经元。

关于感知机模型，我们可以通过一张图来简单了解一下

2.学习策略

进行感知机的学习，即找出一个能够将训练集正负实例点分离的超平面。一般而言，我们通过极小化损失函数，得出分离超平面，找出相应的参数。而对于损失函数的选择，我们需要根据目标和是否便于优化等方面进行考量决策，倘若我们使用基于误分类点数量的损失函数，由于该函数非参数w和b的连续可导函数，不易优化，此时我们需要另辟蹊径。

基于误分类点到超平面的总距离的损失函数为感知机模型常用。

关于损失函数L(w,b)有以下几点性质

• 非负性
• 一个样本的损失函数，在误分类时是参数w,b的线性函数，在正确分类时为0

小结：感知机学习的策略是在假设空间中选取使得损失函数最小的模型参数w,b，即感知机模型。

关于感知机模型的数学推导详见李航《统计学习方法（第二版）》

3.学习算法

将感知机学习的问题转化为求解损失函数的最优化问题，而常见的最优化方法是随机梯度下降法。而感知机学习的具体算法，主要包括原始形式和对偶形式两种，与支持向量机学习算法中的原始形式和对偶形式相对应。

3.1原始形式

感知机学习是误分类驱动的，具体采用随机梯度下降法(SGD)。首先，任选一个超平面w₀,b₀，然后使用梯度下降法不断地极小化目标函数（损失函数）。极小化的过程不是一次使误分类集合M中的所有误分类点的梯度下降（梯度下降），而是一次随机选取一个误分类点使其梯度下降（随机梯度下降）。

3.2对偶形式

对于两种形式的数学推导过程理解尚不透彻，待后续补充。