Caffe归一化层解析(normalize_layer.hpp)

归一化层介绍

---

• 归一化层主要作用是将空间或者通道内的元素归一化到0到1之间，具体公式可以表示为:
  $x_i=\frac{x_i}{({\sum }_1^n{x}_i^2+eps{)}^{\frac{1}{2}}}\ast scal{e}_i$

其中$x_i$表示对应的元素，eps为了防止数据的溢出 。

Caffe normalize参数设置

• normalize层有两个参数，一个是across_spatial_另一个是channel_shared_。
• across_spatial_参数表示是否对整个图片进行归一化，归一化的维度为：1 x c x h x w，否则对每个像素点进行归一化：1 x c x 1 x 1。
• channels_shared表示scale是否相同，如果为true，则$scal{e}_i$都是一样的，否则对于同像素点位置一样，对不同像素点是不一样的