轻量级深度学习网络(七）:详解轻量级网络总结

本文简单介绍了四个轻量化网络模型，分别是SqueezeNet、 MobileNet、 ShuffleNet和Xception，前三个是真正意义上的轻量化网络，而Xception是为提升网络效率，在同等参数数量条件下获得更高的性能。

在此列出表格，对比四种网络是如何达到网络轻量化的。

网络	实现轻量化技巧
SqueezeNet	1*1卷积核“压缩”feature map数量
MobileNet	Depth-wise convolution
ShuffleNet	Depth-wise convolution
Xception	修改的Depth-wise convolution

这么一看就发现，轻量化主要得益于depth-wise convolution，因此大家可以考虑采用depth-wise convolution 来设计自己的轻量化网络， 但是要注意“信息流通不畅问题”

解决“信息流通不畅”的问题，MobileNet采用了point-wise convolution，ShuffleNet采用的是channel shuffle。MobileNet相较于ShuffleNet使用了更多的卷积，计算量和参数量上是劣势，但是增加了非线性层数，理论上特征更抽象，更高级了；ShuffleNet则省去point-wise convolution，采用channel shuffle，简单明了，省去卷积步骤，减少了参数量。

学习了几个轻量化网络的设计思想，可以看到，并没有突破性的进展，都是借鉴或直接使用前几年的研究成果。希望广大研究人员可以设计出更实在的轻量化网络。

最后讲一下读后感，也可以认为是发(Shui)论文的idea：
1.继续采用depth-wise convolution，主要设计一个方法解决“信息流通不畅”问题， 然后冠以美名XX-Net。（看看ShuffleNet就是）
2.针对depth-wise convolution作文章，卷积方式不是千奇百怪么？各种卷积方式可参考Github（https://github.com/vdumoulin/conv_arithmetic），挑一个或者几个，结合起来，只要参数量少，实验效果好，就可以发(Shui)论文。
3.接着第2，如果设计出来一个新的卷积方式，如果也存在一些“副作用”，再想一个方法解决这个副作用，再美其名曰XX-Net。就是自己“挖”个坑，自己再填上去。