RepVgg: 网络结构重参化

CVPR2021
截至目前1004引

论文连接
代码连接

文章提出的问题

• 大多数的研究者追求的是设计一个好的网络结构，这种“好”体现在网络具有复杂的网络设计，这种网络虽然比简单的网络收获了更加高的准确率，但是网络结构中的大量并行分支，导致模型的难以应用和自定义，主要体现在推理速度和内存利用率大大降低。
  • 比如resnet中的残差连接之后在concat，Iception的并行结构。
• 现在的轻量化卷积设计，往往使用的是DWConv设计，这种卷积设计会增加内存的访问次数，而且缺乏针对性的硬件设计，这就导致一味的降低FLOPs也并不一定导致模型推理速度的减少。
  • 关于DWConv的导致性能降低的文章可以参考23年的cvpr文章:Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks。
• VGG网络的参数量过大不利于使用。

解决方案

• 作者设计了一种将训练和推理解耦处理的模型“RepVgg”，在训练阶段使用了大量的分支来设计，从而得到一个好的训练参数，但在推理