神经网络学习引入-图片预处理Preprocessing与损失函数

图片数据预处理 Image data preprocessing

样本：原始像素数据（随机选取于[0,255]）
在机器学习中：输入特征的规范化
(perform normalization of your input features)
在实际应用中：通过缩减每个特征的含义来中心化数据集具有重要意义
(It is important to center your data by subtracting the mean from every feature)

对于图像数据的预处理，它对应于计算训练图像上的平均图像，并从每个图像中减去它，以获得一个像素在[-127,127]之间的图像。

更普遍的预处理方法是缩放每个输入的特征使每个特征的值在[-1,1]之间。

损失函数

SVM损失函数（hinge loss）

SVM损失函数基于SVM想要得到这样一个结果：对于每一张图片，正确分类的得分远远高于其余分类。
也就是说，一个第i类的样本，我们得到它的像素矩阵，以及对应标签$y_i$。评分函数利用像素计算出分类的得分$f(x_i,W)$，下面我们用s表示这个得分。比如该图像在分类j上的得分$s_j=f(x_i,W{)}_j$。
SVM损失函数如下所示：
$L_i={\sum }_{j̸=y_i}max(0,s_j-s_{y_i}+\Delta )$
SVM 损失希望正确分类$y_i$的得分远大于不正确分类的得分，他们之间的差值至少大于$\Delta$。上式亦可写做：
$L_i={\sum }_{j̸=y_i}max(0,w_j^T{x}_i-w_{y_i}^T{x}_i+\Delta )$
其中$w_j$是W第j行的列形式。
这种阈值介于0到最大值之间的函数称为Hinge loss。类似L1距离和L2距离的关系，同样也有二次hinge loss（squared hinge loss SVM）使用$max(0,-{)}^2$来增强损失函数的反馈，即对错误评分的惩罚。普通版本的hinge loss更为基础，但在某些数据集上二次hinge loss效果更好。

• 规范化Regularization
  由于存在这样一个问题：对于所有的i，$L_I=0$；对于任意$\lambda >1$，$\lambda W=0$。
  我们希望对特定的权重矢量，能够消除这种歧义，于是我们采用规范化惩罚R（W）(regularization penalty)
  一种非常常见的方法是第二范式(L2 norm)：通过对所有参数的惩罚平方放大来避免权重过大。
  $R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$
  注意规范化函数并不是一个处理数据的函数，它只作用于权重W。于是SVM损失 = 数据损失 + 规范化损失，公式如下所示：
  $L=\frac{1}{N}{\sum }_i{\sum }_{j̸=y_i}[max(0,f(x_i,W{)}_j-f(x_i,W{)}_{y_i}+\Delta )]+\lambda {\sum }_k{\sum }_l{W}_{k,l}^2$
  最值得注意的地方在于，惩罚过大的权重值趋向于加强普遍性，因为它意味着没有哪个输入可以独自对最终得分造成巨大影响。
  我们希望能够得到这样一个权重矢量，它的损失值最小。

Softmax classifier

除了SVM分类外，另一常见分类器是Softmax分类器，Softmax有一个不同于SVM的损失函数。Softmax可以看作是二元逻辑回归分类的多分类情况。
Softmax提供一个直观的输出（概率）和一个关于该概率的解释。Softmax函数如下所示
$f_i=\frac{e^{z_j}}{{\sum }_k{e}^{z}k}$
其中z为任意实数组成的矢量，并将最后的值压缩到零一之间，且总和为1。
Softmax使用的损失函数是交叉熵损失(cross-entropy loss)，如下所示：
$L_i=-log(\frac{e_{y_i}^f}{{\sum }_j{e}^{f_{yj}}})$
上式也可以表示为：
$L_i=-f_{y_i}+log{\sum }_j{e}^{f_j}$
实际距离p和预测距离q之间的交叉墒是：
$H(p,q)=-{\sum }_{x}p(x)logq(x)$
softmax算法的目的是最小化正确分类和预测值之间的交叉熵，交叉熵的目的是预测的所有值都准确地落在准确值上。较大的数值可能导致不稳定的问题，于是利用标准化技术：
$\frac{e^{f_i}}{{\sum }_j{e}^{f_j}}=\frac{C{e}^{f_i}}{C{\sum }_j{e}^{f_j}}=\frac{e^{f_i+logC}}{{\sum }_j{e}^{f_{j+logC}}}$
C的常用取值为$logC=-ma{x}_j{f}_j$，这表示我们应该通过对f的值的调整，来限定最大值为0。

SVM vs. Softmax