【目标检测】|MicroNet

低秩近似分解卷积以及超强激活函数
论文地址：https://arxiv.org/abs/2011.12289
论文提出应对极低计算量场景的轻量级网络MicroNet，包含两个核心思路Micro-Factorized convolution和Dynamic Shift-Max，

1.Design Principles

要想实现低FLOPs，主要是要限制网络宽度（通道数）和网络深度（网络层数）。

如果把一个卷积层抽象为一个图，那么该层输入和输出中间的连接边，可以用卷积核的参数量来衡量。
因此作者定义了卷积层连通性（connectivity）的概念，即每个输出节点所连接的边数。
因此，连接数等于输出通道数和连通性的乘积。

如果我们把一个卷积层的计算量设为固定值，那么更多的网络通道数就意味着更低的连通性（比如深度可分离卷积，具有较多的通道数但是有很弱的连通性）。

作者认为平衡好通道数目和连通性之间的关系，避免减少通道数，可以有效地提升网络的容量。除此之外，当网络的深度（层数）大大减少时，其非线性性质会受到限制，从而导致明显的性能下降。因此，作者提出以下两个设计原则：

通过降低节点连接性来避免网络宽度的减小
作者是通过分解points-wise卷积以及depth-wise卷积来实现如上原则。

增强每一层的非线性性质来弥补网络深度减少所带来的损失
作者是通过设计了一个全新的激活函数来实现如上原则，称为Dynamic Shift-Max

Micro-Factorized convolution 通过低秩近似保持输入输出的连接性并降低连接数,对pointwise convolution和depthwise convolution进行低秩近似。

Dynamic Shift-Max通过动态的组间特征融合增加节点的连接以及提升非线性，弥补网络深度减少带来的性能降低。从实验结果来看，，仅需要6M MAdds就可以达到53.0%准确率，比12M MAdds的MobileNetV3还要高。

Micro-Factorized Pointwise Convolution

ref
https://zhuanlan.zhihu.com/p/337107958
https://www.tuicool.com/articles/BJJbqeE