CNN网络优化学习总结——从MobileNet到ShuffleNet

CNN网络优化学习总结——从MobileNet到ShuffleNet

摘要

最近出了一篇旷视科技的孙剑团队出了一篇关于利用Channel Shuffle实现的卷积网络优化——ShuffleNet。我关注了一下，原理相当简单。它只是为了解决分组卷积时，不同feature maps分组之间的channels信息交互问题，而提出Channel Shuffle操作为不同分组提供channels信息的通信的渠道。然而，当我读到ShuffleNet Unit和Network Architecture的章节，考虑如何复现作者的实验网络时，总感觉看透这个网络的实现，尤其是我验算Table 1的结果时，总出现各种不对。因此我将作者引用的最近几个比较火的网络优化结构（MobileNet，Xception，ResNeXt）学习了一下，终于在ResNeXt的引导下，把作者的整个实现搞清楚了。顺带着，我也把这项技术的发展情况屡了一下，产生了一些个人看法，就写下这篇学习笔记。

关键词

MobileNet，Xception，ResNeXt，ShuffleNet, MobileID

前言

自从2016年3月，谷歌用一场围棋比赛把人工智能(AI, Artificial Intelligence)正式推上了风口。深度学习突然间成为了整个IT行业的必备知识，不掌握也需要去了解。然而，在2014年我刚毕业的时候，这项技术并没有现在那么火。当时概念大家都还是比较模糊，我也只是在实习听报告时，听邵岭博士提了一下，却没想到现在已经成为模式识别界的一枚巨星。尽管我后悔当时没在这块狠下功夫，但庆幸还能赶上末班船的站票。

CNN的提出其实很早，在1985年Hinton就提出了BP(反向传播算法)，1998年LeCun就基于这项工作发表了LeNet用于解决手写邮政编码的识别问题。之后这项技术很少人去接触，有观点认为当时并没有资源能承担CNN的计算消耗。而它的转折点却是十多年后，在ImageNet比赛中，Alex在Nvidia的两GPU上跑他设计的AlexNet架构，成功在众人面前秀了一把CNN的并行计算操作并一举夺冠，吸引了少量学者眼球。两年过去，VGG和GoogLeNet在ImageNet上展开冠军争夺战，标志着深度学习正式起跑，业界开始关注并尝试利用CNN解决一些过去的难题，比如目标跟踪，目标检测，人脸识别等，它这些领域也得到了不少突破。

然而，CNN的这些突破大多都是在计算代价巨大的条件下产生的，比方说令人目瞪狗呆的千层网络—ResNet。其实这并不利于深度学习在消费类产业的推广，毕竟消费类产品很多是嵌入式的终端产品，而且嵌入式芯片的计算性能并不很强。即使我们考虑云计算，也需要消耗大量的带宽资源和计算资源。因此，CNN的优化已成为深度学习产品能否在消费市场落脚生根的一个重要课题之一。所以，有不少学者着手研究CNN的网络优化，如韩松的SqueezeNet，Deep Compression，LeCun的SVD，Google的MobileNet以及这个孙剑的ShuffleNet等。

其实，网络压缩优化的方法有两个发展方向，一个是迁移学习，另一个是网络稀疏。迁移学习是指一种学习对另一种学习的影响，好比我们常说的举一反三行为，以减少模型对数据量的依赖。不过，它也可以通过知识蒸馏实现大模型到小模型的迁移，这方面的工作有港中文汤晓鸥组的MobileID。他们运用模型压缩技术和domain knowledge，用小的网络去拟合大量的数据，并以大型teacher network的知识作为监督，训练了一个小而紧凑的student network打算将DeepID迁移到移动终端与嵌入式设备中。本文先不对这项工作进行详细介绍，后面打算再补充一篇相关博文。网络稀疏是现在比较主流的压缩优化方向，这方面的工作主要是以网络结构的剪枝和调整卷积方式为主。比如之前提到深度压缩，它先通过dropout，L1/L2-regularization等能产生权重稀疏性的方法训练体积和密度都很大的网络，然后把网络中贡献小（也就是被稀疏过的）的权重裁剪掉，相当于去除了一些冗余连接，最后对模型做一下fine-tune就得到他所说的30%压缩率的效果。但它在效率上的提高并不适合大多数的通用CPU，因为它的存储不连续，索引权重时容易发生Cache Miss，反而得不偿失。下面介绍的MobileNet在这方面更有优势。

MobileNet

MobileNet的主要工作是用depthwise sparable convolutions替代过去的standard convolutions来解决卷积网络的计算效率和参数量的问题。它默认一个假设，就是常规卷积核在feature maps的channels维度映射中，存在一种类似线性组合的分解特性。我们用K表示一个常规卷积核，则

(1)K=M⋅Λ(b)” role=”presentation” style=”position: relative;”>K=M⋅Λ(b)(1)(1)K=M⋅Λ(b)

)写下面的形式：