【CV+DL学习路04】反卷积——Adaptive Deconvolutional Networks for Mid and High Level Feature Learning

Adaptive Deconvolutional Networks for Mid and High Level Feature Learning ICCV 2011

一、介绍

论文提出一种分级（hierarchical）模型，通过稀疏卷积编码层和最大池化层的交替学习捕捉图像的多种信息：低级边缘(low-level edges), 中级边缘连接(mid-level edge junctions),目标的高级部分和完整的目标。

新建立的模型，每一层都会重构输入而不是只有向下直接输出。以前的模型可以捕捉低级结构，但很难找到适当的中高级结构的表示。新的模型可以学习多层特征，以无监督的方式从低级边缘到高级对象部分的所有尺度中提取结构。

我们提出了与特征层次相关的两个基本问题的新颖的解决方案。

第一个与不变性(invariance)有关。低级边缘信息仅在方向和尺度上有所不同，越高级的特征结构可变性更强。因此，不变性对建模中高层结构至关重要。

第二个问题涉及到在分级(hirarchical)模型中使用的逐层训练方法。以前的如深度置信网络DBN和卷积稀疏编码，使用上一层的输出作为下一层的输入。这些方法的主要缺点是模型的较高层与输入图像之间的联系很弱。

论文解决这两个问题的方法是引进一组为每个图像计算的潜在门(switches)变量，使模型的滤波器(filters)在本地适应观测数据。 这样，模型可以捕捉图像结构的广泛变化。这些门(switches)还提供了直接到输入的路径，即使处在模型中的高层，也可以使每个层相对于图像进行训练，而不是先前层的输出。

二、方法

该模型使用卷积稀疏编码（deconvolution）和max-pooling的多个交替层以分层方式分解图像。每个反卷积层都试图在一组完整的特征图上的稀疏约束条件下直接最小化输入图像的重构误差。