轻量级实时目标检测网络--ThunderNet：轻量级实时检测网络

网络的整体结构

网络的整体结构包括，backbone部分和detection 部分，骨干网络是SNet，这个网络i是基于shuffleNetV2进行修改得到的。网络的检测部分，利用了压缩的RPN网络，修改Light-Head R-CNN网络提高效率，CEM整合局部和全局特征增强网络特征的表达能力，并提出了SAM空间注意力机制，引入来自RPN的前后景信息用以优化特征分布。
二：backbone部分
１　输入分辨率为了加快推理的速度，作者使用３２０＊３２０的输入图像，需要注意的是，字实践中，我们观察到输入分辨率应该与骨干网络的能力相匹配。具有大输入的小骨干网络和具有小输入的大骨干都不是最佳的选择。
２　骨干网络：骨干网络具有俩大特点
１　大的感受野很重要，
２　浅层特征位置信息丰富，深层特征区分度更大，因此需要兼顾这两种特征，作者认为主流的轻量级网络违背上面的原则。比如ｓｈｕｆｆｌｅＮｅｔV１／Ｖ２限制了感受野，shuffleｎｅｔV２和ｍｏｂｂｌｅｎｅｔｖ２缺乏浅层特征，而XＣｅｐｔｉｏｎ在计算预算低的情况下缺发深层特征。作者在ｓｈｕｆｆｌｅｎｔｅｖ２进行修改并重新命名为ｓｎｅｔ，使用了５＊５的可分离的深度卷积替换了ｓｈｕｆｆｌｅｎｅｔ中的所有３＊３深度可分离卷积，时间表明，５＊５的深度卷积提供与３＊３对应物相似的运行速度，同时有效的扩大了感受野，作者删除了ｃｏｎｖ５并且浅层的特征提取阶段添加了更多的通道，此设计可以生成更多的位置信息，无需额外的计算成本，作者将ｃｏｎｖ５压缩成５１２个通道，而不是将其删除，在浅层增加通道以便实现浅层和深层特征间更好的平衡。如果删除了ｃｏｎｖ５，骨干网络就无法提供足够的信息。
detection部分
检测网络沿用了light－ｈｅａｄ　ｒｃｎｎ网络结构虽然使用了轻量级的网络，但是与上述的ｓｎｅｔ这个轻量级的骨干网络耦合他仍然过重，会引起骨干网络和检测器之间不平衡，这种不平衡就会导致冗余计算，而且增加了过拟合的风险，骨干网络的输入分辨率不匹配也会导致这个问题，作者使用了５＊５的深度可分离卷积和１＊１卷积，替换RPN网络中的33的卷积，检测部分的创新点就是提出了context enhancement module和spatial attention module 两种策略。
1 CEM light head rcnn 网络中的骨干网络之后利用了GCN产生更小的特征图，虽然增加了增加了计算复杂度，因此本文没有使用GCN，然而感受野小在没有GCN的情况下网络何难提取都足够的可分辨的特征信息。为了解决这个问题，就使用了FPN，然而原始的FPN结构涉及很多额外的卷积和多个检测分支，增加了计算成本引起了巨大的计算时间，所以本文使用了CEM
CEM就是聚合多尺度局部和全局信息，生成区分性更强的特征，在CEM中，合并三个尺度的特征图，通过局部和全局信息，CEM有效的扩大了感受野，并且细化了薄特图的表示能力，与先前的FPN结构相比，CEM仅仅涉及两个11卷积和fc层，这更加计算友好。
spatial attention module
在进行ROI操作的时候，我们期望背景区域中的特征不被关注，前景物体中的特征被强烈关注，然而，由于文本检测网络使用的轻量级骨干网络和小分辨率输入图像，因此很难学到真正的特征分布，作者涉及了一个更家有好的模块以便Ｒｏｉ扭曲空间维度之前显示的重新加权特征图，引导网络学习到正确的前景背景特征分布，SAM的关键思想是使用来自RPN学习到的只是来细化特征图的特征分布，因此训练RPN网络时候，网络就是利用前景目标作为监督来训练的，因此，RPN网络可以用来区分前景特征和背景特征。

ThunderNet: 轻量级实时检测网络 - 知乎 https://zhuanlan.zhihu.com/p/61113865?utm_source=wechat_session&utm_medium=social&utm_oi=560443685439860736