cs231学习笔记二 线性分类器、SVM、Softmax

课程地址：http://cs231n.github.io/linear-classify/

线性分类器

假设样本 xi∈RD,i=1…N ，对应类标签 yi∈1…K 。现定义一个线性映射 f(xi,W,b)=Wxi+b ， W 是 K∗D 的矩阵， b 是 K 维的向量。 W 和 b 分别称作权重（或参数）和偏。

• W 的每一行都是一个分类器，每个分类器对应于一个得分。
• 通过学习 W 和 b ，我们希望正确类的得分要大于错误类的得分。

• 相对于KNN，一旦训练得到 W 和 b ，我们只需将其固定，测试阶段直接用即可，就不再需要测试样本与训练样本再做比较，测试速度自然快上不少。

  

将图片的三维张量拉伸成列向量，则一张图片就可以表示成空间中的一个（带类标签）点。如此看来 Wi 是分类超平面的一次项系数， bi 则是常熟项。如果 b=0 ，则所有分类超平面都过原点。

如果令 W=[W,b] ， xi=[xTi,1]T 则 f=Wxi

机器学习中常将输入特征标准化。

Loss function

损失函数（loss function）也叫代价函数（cost function）或目标函数（objective）

多类SVM

对于样本 i ，定义第 j 类的得分 sj=f(xi,W)j ，样本 i 的损失函数定义为 Li=∑j≠yimax(0,wTjxi−wTyixi+Δ) ，即希望正确分类的得分至少比错误分类的得分多 Δ .
若 W 能正确分类所有的样本，则 λW 也能正确分类所有的样本，这样学习出来的 W 就不唯一了。所以在总的损失函数中加入正则乘法项。其实加入加入正则项最主要的目的是增强模型的泛化能力

L=1N∑iLidata loss+λR(W)regularization loss

L=1N∑i∑j≠yi[max(0,f(xi;W)j−f(xi;W)yi+Δ)]+λ∑k∑lW2k,l