《统计学习方法》极简笔记P2:感知机数学推导

感知机模型

输入空间是,输出空间是
感知机定义为:

感知机学习策略

输入空间任一点到超平面S的距离:

误分类数据,有
误分类点到超平面S的距离
误分类点集合M,所有误分类点到超平面S的距离

由此,感知机损失函数定义为

感知机学习算法(原始形式)

输入:训练数据集

,,学习率
输出:w,b;感知机模型
(1)选取初值,
(2)训练集选取
(3)IF


(4)转至(2),直到没有误分类点。

:感知机算法是收敛的,在训练数据及上的误分类次数k满足

感知机学习算法(对偶形式)

由原始形式


进行n次,w,b关于增量分别为和
记,最后学习到的w,b表示为


输入:训练数据集

,,学习率
输出:a,b;感知机模型
其中
(1);
(2)训练集选取
(3)IF


(4)转至(2),直到没有误分类点。
记Gram矩阵

《统计学习方法》极简笔记P2:感知机数学推导_第1张图片

你可能感兴趣的:(《统计学习方法》极简笔记P2:感知机数学推导)