深度学习自学（十三）：Nas＋Mnas移动端网络搜索结构

NasNet论文地址：https://arxiv.org/pdf/1707.07012.pdf
MnasNet论文地址：https://arxiv.org/pdf/1807.11626.pdf

一、MnasNet

MnasNet提出了一种自动神经结构搜索的方法：将 latency（运算延迟时间）也作为优化目标，以此来搜索能够平衡accuracy和latency的网络模型（之前都是通过减少FLOPS来间接地实现加速效果，但是MnasNet中直接测量特定平台的实际inference latency，因不同的移动设备可能有不同的软硬件特性，可能需要不同的网络来平衡精确度和速度）；另外，提出了一种分层分解搜索空间的方法来确定网络结构。

（1）、将问题看作是一个多目标优化问题，即 ，并采用增强学习的网络搜索方法，用于搜索低延迟同时能保证高精度的CNN模型 。

（２）、提出了一种层级搜索空间（分解分层网络空间）方法，通过在灵活性和搜索空间大小之间取得适当的平衡，最大化利用移动网络所在设备上的资源效率。

 

1、移动端自动化神经架构搜索方法的完整流程

 

整个流程主要由三部分组成：一个基于 RNN 的控制器，用于学习模型架构并进行采取；一个训练器，用于构建和训练模型以获得准确度；还有一个推理引擎，可使用 TensorFlow Lite 在真实手机上测量模型速度。
 

２、分层分解搜索空间

该空间将卷积神经网络因式分解为一系列区块，然后使用层级搜索空间来确定每个区块的层结构。由此，允许不同的层使用不同的运算和连接。与此同时强制每个区块中的所有层共享同一个结构，因此与扁平的逐层搜索空间相比，Mnas搜索空间大小减少了几个数量级。

３、MnasNet Architecture