深度学习问题笔记

1. Cardinality没看过？
   CNN网络由于其强大的特征表示能力极大地提高了计算机视觉任务的水平，为了进一步增强这种特征表达能力，研究者在三个主要方面对其进行了更深入地研究，分别是网络的深度，网络的宽度，网络的维度。在深度研究层面，像是我们熟知的最早先的网络LeNet，到深度逐渐加深的采用1x1卷积和3x3卷积不断堆叠的VGGNet，再到采用了残差设计的ResNet，证实了网络可以堆叠到几百层甚至上千层。GoogLeNet设计了Inception模块可以对网络的宽度进行研究并证明了其效果。Xeception和ResNeXt提出了网络另一个维度Cardinality，证实了这个维度不仅可以节约大量参数而且展示出了比深度和宽度有更强特征表达能力的效果。所以在除了在以上维度对CNN的特征表达能力进行研究之外，作者对网络结构的另外一个层面进行了探索，那就是注意力机制。早前的注意力机制研究已经进行的如火如荼了。注意力机制的主要目的就是：聚焦图像的重要特征，抑制不必要的区域响应，通过在对通道维度和空间维度组合分析研究，提出了CBAM模块，并证实了网络的性能的提升来自于精确的注意力机制和对无相关噪声信息的抑制。