深度学习中的Connections

以下为看论文时遇到的各种connections的整理与总结，日后若有新的体会，将对内容进行修改和补充

1. Full connection全连接层：

针对知乎提问https://www.zhihu.com/question/41037974的总结

“全连接层起到将学到的‘分布式特征表示’映射到样本标记空间的作用。在实际使用中，FC可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前面是卷积层的FC可以转化为卷积核为HxW的全局卷积”。

“在CV中，FC和卷积层没有太大的区别。卷积层其实就是在spatial上部分链接，在channel上全连接的结构。因此，如果舍弃在spatial上的部分链接，将卷积核换成1x1的，那么就只有在channel上全连接。这时候卷积层=全连接层。很多特征融合的卷积都采用1x1的kernel，这也算是FC的一个功能。”

现在，不仅是从发表的论文还是大家做项目的经验，好像都有将GAP（全局平均池化）来代替FC的趋势。分析其中的原因，主要有以下几点：

a. 将整个CV处理过程与数字图像处理对比来看，CV处理过程实际上就是一个矩阵相乘的过程，如果全部使用全连接层，那么势必使得每矩阵都具有很高的维度，再进行矩阵乘法操作，不仅使得运算速度下降，而且使得内存很容易就因为存储FC参数而被占满；

b. 卷积层，使用了权值共享，每次都只关注于一个局部区域，在减少参数量的同时，更加聚焦于局部信息，这使得后续的attention机制很自然的被引出。然而全连接层聚焦于整个输入图像本身，会丢失特征位置的信息，很像是将前面所有卷积层的feature map做一个整理，然后产生的结果可以有助于进行后续的操作，如分类等，这时得到的特征更加具有判别力。

然而，全连接层还是有它的优势，它的一个作用就是维度变换，通过它复杂的参数，可以把高维变为低维，同时将有用的信息保留下来；另一个作用是隐含语义的表达，带有一点点semantic的意味，把原始特征映射到隐藏层，将由卷积层得到的局部信息进行语义上的整理，即分类的显示表达。还有一点是，不同channel同一位置上的FC等价于1x1卷积，可以有效的提取同一位置跨channel的信息。具体的1x1卷积来源于论文network in network, NIN可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道升维和降维。1x1卷积的性价比很高，用很小的计算量就能增加一层特征变换和非线性化。可以进行低成本的跨通道的特征变换。

2. Shortcut connection，也叫做skip connection:

正式提出该名字，来源于ResNet，而该种思想来源于Highway networks，后者引入了LSTM的门的概念（各个领域之间，总是存在着可以相互借鉴之处，仿佛他们背后有一个通用的模式，而当前的领域，只是针对某些具体的方向进行的扩展）。

参考https://cloud.tencent.com/developer/article/1148375

这种连接与FC的差别在于，它是在调整网路的结构，是在描述层与层之间的连接关系，该种调整解决的是因为网络加深，梯度越容易发散，误差越大，难以训练。值得注意的是，“shortcut不一定只跨越1层，并且实际中，由于shortcut只跨越单层没有优势，ResNet中是跨越了2层或3层”。对于shortcut connection用到极致的目前来说应该是DenseNet了吧。DenseNet中，采用了“局部稠密连接”，即涉及一些block，在该block中进行稠密连接（即，每层的输出结果都会通过shortcut连接到后面的层）。然而，可以发现，当在Dense block中使用了较多的密集连接，虽然可以保证浅层得到优化，但是是以耗时作为代价的，在之前的博客《Nested Network with Two-Stream Pyramid for Salient Object Detection in Optical Remote Sensing Images》中https://blog.csdn.net/zhaoyinfu8021/article/details/93339695，同时使用了输入图像金字塔及特征金字塔的方式在保留原始细节信息的同时，获取语义信息，取代了使用耗时的DenseBlock的方式。

3. Nested connection即嵌套在一起的连接

描述的是一种连接，不过不同于其他连接，该连接的输入为其他连接的输出，即嵌套在一起的连接。在博客https://blog.csdn.net/zhaoyinfu8021/article/details/93339695中，该论文通过一系列的nested connections来连接解码器和编码器。该论文发现，采用U-Net形式类似的“暴力”shortcut connection会降低光学RSI中显著性的检测，这是由于该应用场景下由于复杂的背景引入的'bad'判别力的特征会严重的影响到结果，于是，引入了嵌套的链家，从而逐步的将'bad'的特征过滤除去，从而使得在任务驱动的学习过程中，显著性对象得以凸显。该论文中采用的具体方法如下：按照上述箭头指示方向，依次将由箭头传递过来的相应特征进行连接，组成一个新的特征供后续连接使用。即嵌套起来使用。