LRN 和 BN 的区别 （补一个 LCN）

LRN 与 BN 的区别：

====

LRN

首先，我们知道 LRN 首先是在 AlexNet 中首先，被定义，它的目的在于卷积（即 Relu 激活函数出来之后的）值进行局部的归一化。这样说，可能不形象，现在用简单的数学以及图来进行说明：
这里我们用 机器视觉（即传入图片来训练CNN 网络进行简要的说明）：
首先，我们传入一张RGB的图片，那么他的大小是 w * h * c 的大小【在代码中，它的输入模式还会加上 batch 变成 batch * w * h * c】,之后我们用 N 个卷积核【卷积核大小假设为 3 * 3 * c】对其进行操作，那么我们将会得到一个 batch * w * h * N 的一个输出【这里假设不进行卷积的下采样】。
之后，我们将我们的输出 batch * w * h * N 传给激活函数 Relu，之后进行 LRN 的操作。其实 LRN 的操作非常的简单，它是将 通道上该点的像素值走一个归一化处理。如下图所示：

它表示，对于该点，在全通道 N 中做一个归一化的处理，我们设 u,v 为该点的坐标位置， C 表示通道数目（即前面的N）， c表示属于第几个通道位置（0 ~ C-1，数组形式）， α，β，n是超参（一般来说 n 表示选取多少个通道层做一个归一化处理）， K个人理解是为了防止分母为0的错误。
局部归一化的公式就可以写为：

举例（假设我们通过Relu层出来后的参数为如此）：

然后现在，我们求 (u,v) = (0,0) , c = 1 处的局部归一化，设 k = 1 , α = 1， β = 2 ，n = 2
可得：

BN

与 LRN 不同的是，BN的操作是在 Relu 层之前。大部分的博客中都认为，在DNN某一层，随着GD训练的过程中参数的改编，盖层的输出数据的分布可能会改变；此时，对于下一层，相当于输入数据的分布改变了，这种输入数据分布的改编，会使DNN难以学习到好的参数，从而影响DNN的效果。
BN 的训练步骤如下：

先对这个输入的Batch，进行一个 Z-Score 的比哦啊准话，其后设置 γ，β的参数，对已经标准化的值进行一个转换。
对于图像来说，假设传入m张图片。那么我们的矩阵大小就为 m * w * h * c ，假设我们有 N 个卷积核。（在不考虑下采样的过程中），我们理论上将会得到一个 m * w * h * N 的一个输出。我们将每一张图片在一个 x * x * c 的卷积核中就可以得到一个输出（feature map）。所以，我们可以将 一个卷积后的 w * h看做是一个 feature map，然后我们有 m张图片，那么我们对于卷积核 Ni { i | 0 <= i <= N-1 },每一个 Ni【即一个feature map】做一个归一化的操作，所以每一个卷积核对应的BN参数有 m * w * h 个，然后和 γ，β 一起保存。

P.S: LRN其实总的来说，是对于在通道数上(feature map上的某一个点位置）的一次局部归一化。而BN则是对于每一次输出的一个面（feature map）来进行归一化操作。

LCN

LCN （Local Contrast Normalization）局部对比度归一化层【简单来说，一般是对于每一个像素及其相邻的一个领域（local）进行一个归一化的操作】
local contract normalization这个归一化包括两个部分：局部做减和局部做除。对输入图像的每一个像素，我们计算其邻域（例如3x3窗口）的均值，然后每个像素先减去这个均值，再除以这个邻域窗口（例如3x3窗口）拉成的9维向量的欧几里德范数（如果这个范数大于1的时候才除：这个约束是为了保证归一化只作用于减少响应（除以大于1的数值变小），而不会加强响应（除以小于1的数值变大））。也有论文在计算均值和范数的时候，都加入了距离的影响，也就是距离离该窗口中心越远，影响越小，例如加个高斯权重窗口（空间上相邻的像素点的相关性随着距离变大而变小）。

参考资料：

1. https://www.zhihu.com/question/19645541/answer/91694636
2. http://shartoo.github.io/network-imageclassify/
3. http://99aliyun.com/lrn%EF%BC%88local-response-normalization-%E5%B1%80%E9%83%A8%E5%93%8D%E5%BA%94%E6%A0%87%E5%87%86%E5%8C%96%EF%BC%89/
4. https://zhuanlan.zhihu.com/p/26682707
5. https://blog.csdn.net/Fate_fjh/article/details/53375881
6. https://blog.csdn.net/baishuo8/article/details/81943844