Deep Layer Aggregation

1. 前言

这是一篇CVPR2018的论文

2. 介绍

随着神经网络的不断加深，不断加宽，作者提出了一种更加有效的方式来进行网络结构的搭建，而不是单纯的stack起来。
首先，从之前的研究得出，更加深层的网络能够提取出语意特征，以及全局特征，语意特征就是指一些概念，高级特征。
作者引入了两种深层网络结构，一是IDA，iterative deep aggregation，一是HDA，hierarchical deep aggregation。前者主要进行不同scale，resolution的层的信息混合，也就是不同深度的层，后者通过进行不同通道和module之间的信息混合，例如shuffle net，或者resnet中不同block进行混合。

3. IDA

我们知道现在很多的网络结构都是由一个一个小的block堆叠成的。作者将这些堆叠起来的block分成不同的stage，深的stage有更加丰富的语意信息，但是它的颗粒度比较粗糙，也就是每一个特征对应的感受野很大，不是很精细。skip connection将不同stage的信息进行了聚集。
作者提出了如下的连接方式：

IDA

信息从底层不断聚集，并且不断refine（就是指通过了可训练的层）。
公式如下：

公式

4. HDA

HDA是将不同block和stage聚集来保留和整合通道信息。
一种deep, branchiing结构如下图：

d

作者提出了如下的结构，将聚集处的输出作为某一层的输入。

e

为了提高效率，作者又提出了下面的结构：

f

公式如下：

formulate

整体结构如下：

figure 3