深度学习自学(十三):Nas+Mnas移动端网络搜索结构

NasNet论文地址:https://arxiv.org/pdf/1707.07012.pdf
MnasNet论文地址:https://arxiv.org/pdf/1807.11626.pdf

一、MnasNet

MnasNet提出了一种自动神经结构搜索的方法:将 latency(运算延迟时间)也作为优化目标,以此来搜索能够平衡accuracy和latency的网络模型(之前都是通过减少FLOPS来间接地实现加速效果,但是MnasNet中直接测量特定平台的实际inference latency,因不同的移动设备可能有不同的软硬件特性,可能需要不同的网络来平衡精确度和速度);另外,提出了一种分层分解搜索空间的方法来确定网络结构。

(1)、将问题看作是一个多目标优化问题,即 ,并采用增强学习的网络搜索方法,用于搜索低延迟同时能保证高精度的CNN模型 。

(2)、提出了一种层级搜索空间(分解分层网络空间)方法,通过在灵活性和搜索空间大小之间取得适当的平衡,最大化利用移动网络所在设备上的资源效率。

 

1、移动端自动化神经架构搜索方法的完整流程

深度学习自学(十三):Nas+Mnas移动端网络搜索结构_第1张图片深度学习自学(十三):Nas+Mnas移动端网络搜索结构_第2张图片

 

整个流程主要由三部分组成:一个基于 RNN 的控制器,用于学习模型架构并进行采取;一个训练器,用于构建和训练模型以获得准确度;还有一个推理引擎,可使用 TensorFlow Lite 在真实手机上测量模型速度。
 

2、分层分解搜索空间

深度学习自学(十三):Nas+Mnas移动端网络搜索结构_第3张图片

该空间将卷积神经网络因式分解为一系列区块,然后使用层级搜索空间来确定每个区块的层结构。由此,允许不同的层使用不同的运算和连接。与此同时强制每个区块中的所有层共享同一个结构,因此与扁平的逐层搜索空间相比,Mnas搜索空间大小减少了几个数量级。

3、MnasNet Architecture

深度学习自学(十三):Nas+Mnas移动端网络搜索结构_第4张图片深度学习自学(十三):Nas+Mnas移动端网络搜索结构_第5张图片

 

你可能感兴趣的:(计算机视觉)