跨任务神经网络架构搜索

跨任务神经网络架构搜索

华为杯企业赛题：
神经网络架构搜索对提高模型精度，减少模型计算量，提高推理速度起着很大的作用。然而神经网络架构搜索需要消耗大量计算资源，尤其是在大型数据集（如ImageNet）和复杂任务（如物体检测、语义分割）上。这对算法的高效性有很大的要求。同时，不同任务存在差异， 把在一个任务上搜索得到的架构直接用到另一个任务上可能不是最优的，这对算法的通用性也有一定的要求。请设计一个算法，能适用于多个任务的网络架构搜索，如（不限于，也不需包括）图片分类，物体检测等，并且能高效地返回最优的网络架构。
具体要求：
1.给定若干个不同任务（或数据集），输出各自最优网络架构，（训练后）达到高准确率。
2.算法能够从搜索过的任务学习到经验，并用到新任务中来提高搜索效率。
参考数据集：
图片分类：MNIST，CIFAR10，CIFAR100，ImageNet；物体检测、语义分割：PASCAL、VOC

最新文献总结

优化传统NAS的方法：
1.搜索空间的特殊结构

2.单个结构的权重或者性能的预测

3.多个结构之间的权值共享

一、DARTS
目前主流方法效率低下的内在原因在于把结构搜索视为一个在离散域的黑箱优化问题，这导致需要大量的架构评估。
本文主要提出了一种通过可微的方式进行结构搜索的方法（DARTS）。不同于传统的