Guided backpropagation

文章：STRIVING FOR SIMPLICITY:THE ALL CONVOLUTIONAL NET，于2015年发表于ICLR，文章提出一种最简化的模型，网络只由卷积层构成。当前展示模型效果的方法deconvnet要求分类网络必须含有pool操作，因此在deconvnet基础上进行改进提出了guided backpropagation。

最简单但是有效的网络

整个网络由卷积层构成。

• 替换pool
  有两种方法：

1. 将其前一层的卷积层中的stride+1。但是该网络会将卷积层变成池化层，损失精度。
2. 用卷积层替换pool， stride、kernel size相等。（采用这种）

• 替换全连接层
  只要该层的感受野大于或等于需要识别物体的大小，全连接层就可以使用1x1的卷积层代替。
• 使用小卷积核，k<5。

适用条件

分类网络。

缺点

和deconvet一样只是显示图像的有棱角区域，并不能只显示对分类起重要作用的区域。

与deconvnet的比较

Deconvolution方法前向传播时需要记住位置信息（pool所得），将该信息记作“开关”，然后反向传播时再使用该值。这两个方法类似，只是在激活函数处的反向传播公式不同，造成了适用范围也不同。需要注意的是这两个方法在该处所求的导数并不是实际的导数。比较如下图所示。

图a表示方法整体过程。从高层特征图反向传播到源图像，重建源图像。
图b表示当激活函数是Relu时，各种反向传播方法的比较。
图c用公式表示图b。从公式可以看出，backpropagation的值取决于输入，Deconvolution的值取决于上层导数，Guided backpropagation的值取决于输入和上层导数。

• 从图中公式角度：Deconvolution从一个方面即反向传播方面抑制不重要的像素，Guided backpropagation包含两个方面，增加了前向传播的抑制函数实现与“开关”机制同样的效果。