统计学习方法（二）

希望这个月能啃完这本书

二、感知机

1、感知机模型

f（x）=sign（w·x+b）【+1、-1】

2、数据集分为线性可分数据集、线性不可分数据集

3、学习策略

对于M（误分类点的集合）构建一个损失函数（每个误分类点到超平面的距离和），当损失函数最小时，即为所求的超平面。

4、算法步骤

选取初值、在训练集中选取误分类点的数据（若没有误分类点则结束算法）、随机梯度下降法解出（w、b）

5、算法的收敛性证明（略：证明若数据是线性可分，则这个算法肯定找得到这个超平面）

6、感知机的对偶形式

如何理解？

这里引入了Gram矩阵（构造【xi*xj】n*n矩阵），其核心内容没有变，方便矩阵直接计算

课后习题：

1、感知机为何不能表示异或？

异或为线性不可分模型

2、略

3、证明：样本集线性可分的充要条件时正实数集构成的凸壳与负实数集构成的凸壳互不相交

需要引入凸集分离定理的概念

答案