线性分类器

线性分类器

表达式：
y=WTx+w0=w1x1+…+wnxn+w0=w′Tx′

W=⎛⎝⎜⎜⎜w1w2…wn⎞⎠⎟⎟⎟ x=⎛⎝⎜⎜⎜x1x2…xn⎞⎠⎟⎟⎟

W′=⎛⎝⎜⎜⎜⎜⎜⎜w0w1w2…wn⎞⎠⎟⎟⎟⎟⎟⎟ x′=⎛⎝⎜⎜⎜⎜⎜⎜1x1x2…xn⎞⎠⎟⎟⎟⎟⎟⎟

y>0,x∈ω1;

y<0,x∈ω2;

感知器

感知器的损失函数：

J(W)=∑xi∈En(−wTx′i)

En是分类错误的集合

注意：这种写法的前提是如下，因此当输出y<0，则判断错误，否则正确。

x′={x′,−x′,if x∈ω1if x∈ω2

梯度下降法求得 minJ(w)

∂J(W)∂W=∑xi∈En(−xi)

迭代公式为：

W(k+1)=W(k)+ρ∑xi∈En(xi)

结论：
收敛性1、感知器的收敛结果不唯一。
收敛性2、如果线性可分，有限步骤内搜索到分类面。

最小平方误差准则

最小均方误差损失函数：
J(W)=∑ni=1(W′TX′−yi)2
W∗=minwJ(W)
后面待更新。。。。。。。