RepMLP——重参数化卷积层

最近这段时间MLP 网络，在深度学习浪潮里复辟了。出现了不同的版本的MLP 神经网络。现在在这介绍一种简单的MLP 网络结构。RepMLP 论文。

众所周知，全连接层能够高效地建模长距离依赖和位置模式，但不能很好地捕捉局部信息（擅长这件事情的是卷积）。因此作者在这里使用了MLP 网络进行特征的提取

最近的一些关于Vision Transformer的工作表明了在大量数据下，抛弃CNN的局部先验是可行的。本文尝试将全连接层替换部分卷积层中，以提供全局表征能力和位置感知能力。并将引入卷积层，赋予全连接层其不具备的捕捉局部信息能力。最后通过重参数化的方法，将卷积层和全连接层重参数化为一个全连接层，提升推理速度。

整体网络的框架如上图所示，在这里作者只是做了一个重参数的工作，其实MLP还可以进行更多的操作。比如　ResMLP　这篇论文。