CliqueNet:Convolutional Neural Networks with Alternately Updated Clique详解

Convolutional Neural Networks with Alternately Updated Clique 是2018年北大团队在CVPR上发表的，这是继DenseNet之后又一密集网络。在图像识别数据集上作者达到了the state-ofthe-art performance with fewer parameters。以下文章讲解是本人粗浅的看法，如有不同的意见大家可以指出并进行探讨。

一、摘要

    在很深的网络中改善信息的流动可以减少训练的困难以及更有效的利用参数。作者提出了CliqueNet网络与之前别人的工作相比，CliqueNet在同一block中任意两个层之间存在前向和后向的连接。这些层构造成一个环并交替更新。CliqueNet有如下特点：在同一block中每一层同时是其他任意层的输入与输出，所以信息流在层之间最大化使用；在传播期间，连接新更新的层以重新更新先前更新的层，并且多次重复使用参数。这种循环反馈结构能够将更高级别的视觉信息带回以改进低级滤波器并实现spatial attention。

二、介绍

     1：跳跃连接机制：ResNet、Highway、DenseNet采用了跳跃连接，这是种有效的方法使得后面的卷积层能接触效的解决了梯度梯度爆炸的问题。当不同层之间权重共享时，跳跃连接应用在RNN和LSTM中。虽然这种循环结构有利于特征重用和迭代学习，但残差信息在相邻层之间受到限制，并且不能跨多个层考虑，因为重复仅在每个单层发生一次。

    2：注意力机制：当我们看一张照片时，当我们再次回看和思考时，场景中的信息和目标会更好的被获取。在认知理论中，视觉皮层中神经元的活动受到通过反馈连接传递的其他皮质区域响应的影响。以自上而下的方式返回高级语义信息的反馈连接能够重新加权焦点，并抑制背景和噪声的非相关神经元激活。

作者在受注意力机制的启发，提出了CliqueNet，其具有如下创新点。1、参数少。与DenseNet相比，一个block中n层，需要组参数，而CliqueNet只需要组参数。同时，DenseNet的参数随着滤波器个数随着深度增加成线性增长，导致大量的参数，而CliqueNet中只有在每个block的第二阶段中传给下一个block，这是一个更有效的参数方法。而且CliqueNet中block中的层之间的参数在传播中可以重复使用。这些层可以交替更新多次使用固定数量的参数获得更深的表示空间。2、CliqueNet 具有强大的表征学习（representation learning）能力。由于循环结构和反馈机制的结合，CliqueNet 具有强大的表征学习（representation learning）能力。在每个Clique Block中，前向和反向均为DenseNe连接，使得信息流最大化以及特征图被重复关注。网络结构表明这样可以有效的抑制背景和噪声，更有效的突出目标。论文主要贡献如下：

   1：CliqueNet结合了循环结构和注意力机制。CliqueNet在同一block中任意两个层之间存在前向和后向的连接，这些层构造成一个环并交替更新，实现了信息流的最大化以及特征的重复使用。

   2：采用了多尺度特征策略，避免了参数的线性增长。

三、CliqueNet框架介绍

       CliqueNet主要包括两个部分：1 block与交替更新的clique 来增加特征的重复使用；2 多尺度策略有效的利用参数。

      3.1 Clique Block

     与Dense block 不同的是Clique block每一层即是 其他任意层的输入也是输出。如下图所示：

    

      其中每个clique block包含两个stage。在第一阶段，输入层X0通过直接连接的方式利用同一bloick中其他所有层。每一个已经更新的层concatenated为了更新下一层。在第二阶段，同一block中的这些层进行任意的更新。所有层除了最top层要更新之外都被concatenated as bottom层，他们的参数同样需要concatenated。其示意图如下：

     3.2 Feature at Different Stages

      每个block包含两个stages，第二阶段的特征包含着注意力机制并且有着更高的视觉信息，所有将第二阶段的特征作为下个block的输入。与此同时，为了保持多尺度策略，block中的输入层与第二阶段的特征一起concatenated作为此block特征，然后进行全局的池化，结果作为最终预测的多尺度中的一部分。其示意图如下：