[深度学习] 线性分类

线性分类

线性分类是用权重W去计算一张图片属于不同分类的分数。

下图中假设对猫的每个像素点提取出来，排成一列，记为X。用权重W去乘以X并且加上bias，最后得到的分数是对于这张图片属于哪个分类的预测。

线性分类的解释

线性分类在几何上的解释
当我们对权重W中的一行进行改变，那么对应的分类平面会在不同的方向进行旋转。

线性分类作为一个模版(template)进行匹配
另外一种解释是W的每一行都是一个类所对应的模版。通过使用内积(inner product)来获得图片和不同模版的对比，以找到“最好的“的分类结果。这种思路是线性分类在做模版的匹配，而这种模版是可以学习的。

Bias

f(xi,W,b)=Wxi+b f ( x i , W , b ) = W x i + b

在计算的时候分别记录W， b是有点费力的方法，可以将其结合起来变成一个矩阵。

f(xi,W)=Wxi f ( x i , W ) = W x i

Regularization作用

• 提高泛化能力
  这意味这不能有一个维度对于最终的分数有一个特别大的影响力。
  例如: x=[1,1,1,1],W1=[1,0,0,0],W2=[0.25,0.25,0.25,0.25]. x = [ 1 , 1 , 1 , 1 ] , W 1 = [ 1 , 0 , 0 , 0 ] , W 2 = [ 0.25 , 0.25 , 0.25 , 0.25 ] .
  WT1x=WT2x=1 W 1 T x = W 2 T x = 1 ，但是 W1 W 1 的L2 penalty是1， W2 W 2 的L2 penalty是0.25。因此在加了正则项之后 W2 W 2 的损失函数小于 W1 W 1 。我们倾向于每个维度的权重相对均衡，而不是一个维度的权重相对过大。这将会防止过拟合。

SVM vs. Softmax

参考

http://cs231n.github.io/linear-classify/