2019CVPRHetConv

参考文献

最近放出来了一篇CVPR2019论文，文章提出了一种新的高效卷积方式：HetConv，在CIFAR10、ImageNet等数据集超过了标准卷积以及DW+PW的高效卷积组合形式，取得了更高的分类性能。
https://mp.weixin.qq.com/s/Z_nOIKpL3osfX3ylIsJ4rA
首先看上面的这个

对参考文献补充

重要观点

DW是depthwise convolution
PW是pointwise convolution
GW是groupwise convolution
（1）重点比较，当P=channel number时，与DW+PW进行比较，原因是，两者的计算量几乎相同。可以将HetConV的计算量分成两部分看待，一部分是核为K×K的，此时与DW的计算量一致，一部分是1×1的，此时inchannel大小是M-1
（2）重点比较，当P=group size时，与GW+PW进行比较,原因是，两者的计算量几乎相同，一部分是核为K×K的，此时与GW的计算量一致，一部分是1×1的，此时inchannel大小是M(1-1/P)
（3）不论是DW+PW，还是GW+PW，都是step=2，也就是需要依次进行，而Hetconv中则是step=1,理论上来说计算速度更快（latency）
（4）作者对于上述的两种对比进行了实验，实验表明，Hetconv不仅参数更少，而且对应的准确率还更高。
（5）P可以用来调节Hetconv参数的数目
（6）具体请看论文

待做工作

文章的结果表明，可以用HetConv替换DW+PW和GW+PW，而这两个在Mobile-net v1 v2,Shufflenet v1 v2，ResNeXt等中都有用到
（1）文中只对Mobilenet v1进行了替换，替换的方式可以有多种P=32 channel number等等。但是并没有对shufflenet进行替换，从某种程度上来说shufflenet v2的结构是要优于v1以及mobilenet v1 v2的。
（2）HetConv可以对目标检测的backbone进行改进，因此可以推广到目标检测
（3）可以尝试使用神经网络搜索,得到Hetconv中更加优秀的，适应于任务的P

欢迎评论讨论