MixNet: Mixed Depthwise Convolutional Kernels

arXiv：https://arxiv.org/abs/1907.09595

Tensorflow版本：https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet/mixnet

Pytorch版本：https://github.com/romulus0914/MixNet-Pytorch

abstract

MixNet 是谷歌大牛Quoc V. Le的在AutoML领域的又一力作。深度分离卷积在当前轻量型ConvNets得到广泛应用，但其卷积核尺寸却很少得到关注，甚至被忽视。作者系统的分析了不同尺寸的卷积核对于最终结果的影响，同时发现，组合多尺寸卷积核可以取得更好的精度与效率。基于此，作者提出一种新的混合深度卷积(Mixed Depthwise Convolution, MDConv)，在一个卷积中混合了多个卷积核尺寸。然后把MDConv集成到AutoML的搜索空间，构建了MixNets。

动机：为了探索到底多大的kernel size  能够实现高的准确率？

通过做了一个以深度可分离卷积 在MobeilNet上为基准的实验，不同卷积核尺寸对模型的影响如下：

Method

基于上述分析，作者提出一种混合深度分离卷积(MDConv)，它将不同尺寸卷积核混叠到同一个卷积OP单元中，故而它可以轻易的捕获不同分辨率的特征模式。下图给出了标准深度分离卷积与本文所提MDConv示意图。

作者通过实验证实：简单的将其替换到MobileNetV1与MobileNetV2中即可取得精度与效率的提升(ImageNet分类任务与COCO目标检测任务)。

普通的深度可分离卷积是把输入通道channel大小为M,分成M组，然后对每组用同样的kernel size 进行卷积计算。但是，这里提出的MDconv 是把输入通道channel大小为M，分成C组，然后对每组用不同的的kernel size 进行卷积。总之是：不同的kernel size 提取的特征不一样，这里相当于做了一个特征融合。可以被考虑作为Depthwise Convolution 的替代模块。

这里是利用 tensorflow实现的MDconv

MixConv Design Choices

Group Size g:取决于卷积核类型个数，g=1等于普通的卷积，一般g=4是一个比较好好的选择，实验证明一般1≤g≤5 

作者对比MDConv替换到MobileNetV1与MobileNetV2前后的精度对比，效果图如上。从中可以看出：相比标准深度分离卷积，MDConv更轻量、更快同时具有更高的精度

Kernel size per Group:一般是从3*3开始，每一组增加2，即第i组的kernel size 为2i+1 也就是{3×3,5×5,7×7,9×9} 
Channel Size Per Group：这里提出了两种方法：第一种：等分，就是每组分同等数量的filters。第二种：指数递增， 第i组，通道数为全部通道数的。

Dilated Convolution:对较大的卷积核，可以使用膨胀卷积替代，减少参数个数不同策略的结果如下：

同时，作者还对比了不同组划分方式、空洞卷积核的影响性。实验对比效果图如上。从中可以看出：指数形式组划分在MobileNetV1中比均等组划分稍好，但在MobileNetV2中无明显优势。一个可能的原因：指数形式组划分导致大核通道数过少难以捕获高分辨率特征模式。空洞卷积可以提升小核网络的精度，但对于大核网络却导致了精度下降。作者认为：对于大核而言，空洞卷积会跳过大量的局部信息，进而噪声精度损失。

Experiments

FLOPS 对比和MixNet-S,MixNet-M结构：

Conclusion

作者重新回顾了深度分离卷积中的核尺寸影响，证实了：传统深度分离卷积网络(如MobileNetV1，MobileNetV2)受限于卷几何尺寸。基于此，作者提出一种混叠深度卷积(MDConv)，它可以混叠多个尺寸卷积核到同一卷积中，进而取得精度的提升。同时，作者将其应用AutoML框架中，搜索到一类新的架构MixNet。相比比已有轻量型网络，它具有更高的精度和效率(ImageNet分类与COCO目标检测任务)。