感知机(perceptron)学习算法的对偶形式

算法：

输入：训练数据集 T={(x1,y1),(x2,y2),…,(xN,yN)} ，
其中 xi∈Rn , yi∈{−1,1}，i=1,2,…,N ；学习率 η(0<η≤1) ;
输出： α,b ；感知机模型 f(x)=sign(∑Nj=1αjyjxj⋅x+b) .
其中 α=(α1,α2,…,αN)T .
(1) α←0,b←0
(2) 在训练集中选取数据 (xi,yi)
(3) 如果 yi(∑Nj=1αjyjxj⋅xi+b)≤0

αi←αi+η

b←b+ηyi

(4) 转至(2),直至训练集中没有误分类点。

模型：

f(x)=sign(∑Nj=1αjyjxj⋅x+b)

策略：

误分类点到超平面 S 的总距离

推理思路：

原始形式：

w←w+ηyixi

b←b+ηyi

最终修改完成后 w,b 关于 (xi,yi) 的增量分别为 αiyixi 和 αiyi

w=∑i=1Nαiyixi

b=∑i=1Nαiyi