【计算机视觉 | CNNs】卷积神经网络18种有效创新方法分享，涵盖注意力机制、空间开发等7大方向（下）

三、基于多路径的CNNs

3.1 DenseNet

论文：Densely Connected Convolutional Networks

稠密连接神经网络

「简述：」DenseNet是一种新的卷积神经网络架构，它将每一层都直接连接到其他所有层。这使得网络在训练时更加深入、准确和高效。与传统的卷积神经网络相比，DenseNet具有几个优点：它可以缓解梯度消失问题，增强特征传播，鼓励特征重用，并减少参数数量。在四个基准测试任务中，DenseNet表现出了显著优于现有技术的性能，同时需要的计算量更少。

四、基于宽度的多连接CNNs

4.1 WideResNet

论文：Wide Residual Networks

宽残差网络

「简述：」宽残差网络（WRN）是一种新型的深度残差网络架构，通过减少深度并增加宽度来优化网络结构。相比传统的深度残差网络，WRN具有更高的准确率和更快的训练速度。实验证明，即使是16层深的WRN也比以前所有深度残差网络表现更好，并在多个数据集上取得了最佳结果。

4.2 Pyramidal Net

论文：Deep Pyramidal Residual Networks

深度金字塔残差网络

「简述：」深度卷积神经网络在图像分类上表现优秀。通常，这种网络包含很多卷积层，并在空间维度上进行下采样以减少内存使用。然而，这样会导致特征图维度（通道数）在采样点突然增加，有助于提高性能。另一种叫残差网络也与此相关。但这里，作者没有在下采样部分突然增加特征图维度，而是让所有部分逐渐增加，这样能提升网络的泛化能力。作者还提出了一种新的残差单元，能让分类更准确。

4.3 Xception

论文：Xception: Deep Learning with Depthwise Separable Convolutions

深度可分离卷积的深度学习

「简述：」论文解释了Inception模块是卷积和深度可分离卷积之间的中间步骤。深度可分离卷积被理解为具有最多塔的Inception模块。因此，作者提出了一种新的架构，用深度可分离卷积替换Inception模块，称为Xception。它在ImageNet数据集上略优于Inception V3，并在更大的图像分类数据集上显著优于Inception V3。由于参数数量相同，性能提升是由于更有效地利用了模型参数。

五、基于特征映射的CNN开发

5.1 Squeeze and Excitation

论文：Squeeze-and-Excitation Networks

挤压和激励网络

「简述：」卷积神经网络通过融合空间和通道信息来构建特征。本文提出了一种新的建筑单元“挤压-激励”块，通过建模通道之间的相互依赖关系来重新校准通道特征响应，从而显著提高性能。SENet架构泛化效果非常好，稍微增加计算成本就能带来显著的性能提升。

六、基于（输入）通道利用的 CNN

6.1 Channel Boosted CNN using TL

论文：A New Channel Boosted Convolutional Neural Network using Transfer Learning

使用迁移学习的一种新的通道增强卷积神经网络

「简述：」论文提出了一种新的技术，称为“通道增强”，用于增强深度卷积神经网络（CNN）的性能。该技术利用了CNN的通道维度和迁移学习思想。在两个不同阶段应用了迁移学习：通道生成和通道利用。作者使用已经训练好的深度神经网络来获取各种通道，并添加到原始通道中，以增强深度CNN的性能。

七、基于注意力的CNNs

7.1 Residual Attention Neural Network

论文：Residual Attention Network for Image Classification

用于图像分类的残差注意力网络

「简述：」论文提出了“残差注意力网络”，这是一种使用注意力机制的深度卷积神经网络，可以结合最先进的馈送网络架构进行训练。该网络可以自适应地改变注意力感知特征，随着层数的增加，特征会发生变化。每个注意力模块都有自下而上和自上而下的前馈和反馈结构，将前馈和反馈过程合并为单一前馈过程。作者还提出了注意力残差学习，以训练非常深的网络。

7.2 Convolutional Block Attention

论文：CBAM: Convolutional Block Attention Module

卷积块注意力模块

「简述：」论文提出了一种叫做CBAM的注意力模块，可以增强卷积神经网络的表现。这个模块能够同时关注通道和空间两个维度，对输入特征图进行细化。这个模块轻量级且通用，可以无缝集成到任何CNN架构中，并可以进行端到端的训练。在多个数据集上的实验结果表明这个模块可以提高分类和检测的性能。

7.3 Concurrent Squeeze and Excitation

论文：Recalibrating Fully Convolutional Networks with Spatial and Channel ‘Squeeze & Excitation’ Blocks

使用空间和通道“压缩-激励”块重新校准全卷积网络

「简述：」全卷积神经网络（F-CNN）是用于语义分割任务的一种成功模型。论文提出了一种新的方法，通过重新校准学到的特征图来改进它。这涉及到增强重要特征并抑制较弱特征。为此，作者引入了“挤压和激励”（SE）模块，它是一种简单且有效的计算块，可以轻松集成到F-CNN架构中。作者在三个最先进的F-CNN模型中实施了这些SE模块，并在三个具有挑战性的基准数据集上进行了测试，结果显示分割精度得到了显著提高。