【论文笔记】CSPNet（未完）

CSPNet：可以增强 CNN 学习能力的新型 backbone

一. 研究意义

当神经网络变得更深和更宽时，神经网络特别强大。但是，扩展神经网络的体系结构通常会带来更多的计算，这使大多数人难以承受诸如目标检测之类的计算量繁重的任务。轻量级计算已逐渐受到越来越多的关注，因为现实世界中的应用程序通常需要在小型设备上缩短推理时间，这对计算机视觉算法提出了严峻的挑战。尽管某些方法是专门为移动 CPU 设计的，但它们采用的深度可分离卷积技术与工业 IC 设计不兼容。在这项工作中，CSPNet研究了诸如 ResNet、ResNeXt 和 DenseNet 等最新方法的计算负担。进一步开发了计算有效的组件，这些组件使上述网络可以部署在 CPU 和移动 GPU 上，而不会牺牲性能。

二. DenseNet和CSPDenseNet

(a) DenseNet 和 (b) 我们提出的 Cross Stage Partial DenseNet (CSPDenseNet) 的插图。CSPNet 将基础层的特征图分为两部分，一部分将通过一个密集块和一个 transition layer，然后将另一部分与传输的特征图组合到下一个阶段。

DenseNet 的每个阶段都包含一个密集块和一个 transition layer，每个密集块由 $k$ 个密集层组成。$i^{th}$密集层的输出将与 $i^{th}$密集层的输入串联，并且串联的结果将成为 $(i+1{)}^{th}$密集层的输入。表示上述机制的等式可以表示为：

如果使用反向传播算法更新权重，则权重更新方程可写为：

其中 $f$是权重更新的函数而 $g_i$表示传播到 $i_{th}$密集层的梯度。我们发现大量的梯度信息被重用于更新不同密度层的权重。这将导致不同的密集层重复学习复制的梯度信息。
CSPDenseNet：把x拆成了两部分，一部分将通过一个密集块和一个 transition layer，然后将另一部分与传输的特征图组合到下一个阶段。所以，CSPDenseNet 的前馈传递和权重更新的方程式分别显示在方程式 ：

双方都不包含属于另一方的重复的梯度信息。总体而言，提出的 CSPDenseNet 保留了 DenseNet 的特征重用特性的优点，但同时通过截断梯度流来防止过多的梯度信息重复。通过设计分层特征融合策略来实现此思想，并将其用于 a partial transition layer。

总之，自己感觉这就是想要减少计算量同时保证精度不下降。和MobieNet一样都是在压缩网络计算量。

参考：
论文翻译：感觉这个人是有道翻译的，很多地方翻译的并不好，但是还是可以稍微参考一下。
CSPNet论文简单的总结
DensNet
DensNet和ResNet