深度学习历程之图片的预处理为什么要减去图片的平均值

问题的产生

这几天用MXNet写人脸关键点检测代码，中间忘了将图片在送入网络之前，减去图片的均值，从有关函数的名称来看，这算是一种归一化操作。总之，缺少这个操作的结果，就是loss一直在抖，丝毫没有下降或上升的趋势。所以今天从这个问题入手，对这问题相关进行掌握。

问题的研究

看了一些深度学习框架的例程，处理原图为黑白比如mnist数据集，不需要进行图片均值减去处理，而三通道彩图，一般都需要。

1、那为什么需要这种减去图片均值的预处理方式呢？
2、什么情况下需要采用这种预处理方式

从主成分分析着手

可以学习一下主成分分析

这里摘抄一部分主要内容：

对图像数据应用PCA算法

为使PCA算法能有效工作，通常我们希望所有的特征 都有相似的取值范围（并且均值接近于0）。如果你曾在其它应用中使用过PCA算法，你可能知道有必要单独对每个特征做预处理，即通过估算每个特征 的均值和方差，而后将其取值范围规整化为零均值和单位方差。但是，对于大部分图像类型，我们却不需要进行这样的预处理。假定我们将在自然图像上训练算法，此时特征 代表的是像素 的值。所谓“自然图像”，不严格的说，是指人或动物在他们一生中所见的那种图像。
注：通常我们选取含草木等内容的户外场景图片，然后从中随机截取小图像块（如16x16像素）来训练算法。在实践中我们发现，大多数特征学习算法对训练图片的确切类型并不敏感，所以大多数用普通照相机拍摄的图片，只要不是特别的模糊或带有非常奇怪的人工痕迹，都可以使用。
在自然图像上进行训练时，对每一个像素单独估计均值和方差意义不大，因为（理论上）图像任一部分的统计性质都应该和其它部分相同，图像的这种特性被称作平稳性（stationarity）。
具体而言，为使PCA算法正常工作，我们通常需要满足以下要求：(1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）。实际上，PCA算法对输入数据具有缩放不变性，无论输入数据的值被如何放大（或缩小），返回的特征向量都不改变。更正式的说：如果将每个特征向量 都乘以某个正数（即所有特征量被放大或缩小相同的倍数），PCA的输出特征向量都将不会发生变化。
既然我们不做方差归一化，唯一还需进行的规整化操作就是均值规整化，其目的是保证所有特征的均值都在0附近。根据应用，在大多数情况下，我们并不关注所输入图像的整体明亮程度。比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。更为正式地说，我们对图像块的平均亮度值不感兴趣，所以可以减去这个值来进行均值规整化。

从反向传播梯度着手

了解到基本在deep learning中只要你是使用gradient descent来训练模型的话都要在数据预处理步骤进行数据归一化。当然这也是有一定原因的。
根据公式

∂E∂w(2)11=x1δ(2)1 ∂ E ∂ w 11 ( 2 ) = x 1 δ 1 ( 2 )

如果输入层 x x 很大，在反向传播时候传递到输入层的梯度就会变得很大。梯度大，学习率就得非常小，否则会越过最优。在这种情况下，学习率的选择需要参考输入层数值大小，而直接将数据归一化操作，能很方便的选择学习率。而且受 x x 和 w w 的影响，各个梯度的数量级不相同，因此，它们需要的学习率数量级也就不相同。对 w1 w 1 适合的学习率，可能相对于 w2 w 2 来说会太小，如果仍使用适合 w1 w 1 的学习率，会导致在 w2 w 2 方向上走的非常慢，会消耗非常多的时间，而使用适合 w2 w 2 的学习率，对 w1 w 1 来说又太大，搜索不到适合 w1 w 1 的解。

后续研究

之后再这方面碰到问题的话，会继续深究，加以补充，各位有不同的理解，也可底下评论讨论一下，共同学习。