NASNet

本论文的主要解决的问题

1. 在Nas的论文中，我们针对的数据集是小数据集CIFAR-10，当数据集很大的时候我们需要的开销很大，于是针对大数据集，本论文提出了一种新的搜索空间，命名为‘NASNet’，它更具有灵活性。

本论文采用了什么方法解决的问题

1. 重新设计了一种搜索空间，NASNet
2. 将CIFAR-10数据集上表现最好的架构运用到大数据集ImageNet以及COCO数据集。

本论文的创新点

1. 提出新的搜索空间
2. 提出新的泛化技术 ScheduledDropPath
3. 此论文中没有运用Policy Gradigent的策略，而是用PPO进行优化。

从图表中学习

架构是由两个重复的模块组成，一个是Normal Cell,另一个是Reduction Cell，这些Cell可以按照顺序堆叠，以处理任意控件维度和过滤深度的输入。其中:Normal Cell：不改变输入feature map的大小的卷积； Reduction Cell：将输入feature map的长宽各减少为原来的一半的卷积，是通过增加stride的大小来降低size。 其中Normal Cell的数量N可以是任意值。

一个卷积Cell中有B blocks，每个block有5个离散参数，因此控制器包含5B 用来预测卷积cell架构的softmax层。B=5 ：
  Step1：从前面block中产生的hidden states中选择一个hidden state—hi-1；
  Step2：重复step的操作，选择一个hidden state—hi；
  Step3：为step1中选择的hidden state选择一个操作；
  Step4：为step2中选择的hidden state选择一个操作；
  Step5：选择一个方法去连接step3和step4中的输出从而产生一个new hidden state，并将其添加到hidden states中。
  在step3和step4中选择的操作如下：
在step5中控制器RNN选择一种方法来组合两种hidden states（1）两个隐藏状态之间的元素级加法（2）沿filter维度连接两个隐藏状态，最后，对卷积单元中生成的所有未使用的隐藏状态进行深度连接，以提供最终的单元输出

从图片中我们可以看出这个是测试针对CIFAR-10数据集，NASNet与其他最新模型的比较。其中我们还比较了NASNet不同类型的性能，针对搜索空间的不同我们将它分为NASNet-A，NASNet-B，NASNet-C。6@768代表N的数量=6和卷积网络倒数第二层的filters的数量=768。

从上一个实验中我们发现表现比较好的是NASNet-A，所以在次实验中我们用NASNet-A架构，测试ImageNet大数据集
接着我们又测试了COCO数据集，以及若是有了计算资源的限制，NASNet是否还表现良好。