ValseWebinar : NAS

20191009 神经网络架构搜索NAS
http://valser.org/webinar/slide/slides/20191009/20191009-NAS-2019.pdf
http://valser.org/webinar/slide/slides/20191009/20191009-valse_automl_v3.pdf

---

---

---

针对 Dense Prediction Tasks

加速搜索速度：多卡并行，使用proxy datasets

encoder+decoder
只搜decoder

知识蒸馏有效
引入 auxiliary classifiers

搜索完之后，重新fine-tuning

是否可以搜索出一个更小的网络？？
用于移动平台
encoder 一起搜索，但是计算量会很大

事先定义好一些模版
网络结构中只允许 事先定义好的一些小的模块
例如： 可以定义template 有两个输入，经过feature 操作，得到一个输出。 限制输入与操作的对应。组合数减少

focs基于fpn。
可以有两方便的搜索：搜索fpn和搜索head
anchor box 和anchor free的搜索
anchor box搜索耗时

fpn和head 分开搜索

并没有一起搜索，一起搜索搜索时间增加，效果也没有显著提高

head部分，有共享参数现象，搜索出来的。一定程度上的共享参数是有用的

tricks：
使用Proxy datasets
使用 negative loss sum 来代替average precision 作为奖励信号
非联合搜索

deformable 卷积和concat 效果要好

darts？？

width

---

data augment

RNN 收敛慢
搜索问题变成超参优化问题

validation loss 不可导

基于优化工作，OHL
推导过程多

5部分
1、把超参数当作随机变量
2、训练过程分成多个阶段，对每个阶段，利用当前的分布做超参采样，对不同的采样训练不同的模型，对不同的模型计算acc，根据 acc 进行 reforce更新超参分布。第二次训练传入最好的模型

基于了RL的
基于 darts的

核心问题：超网络参数共享，基于超参数采样得到优化。

做了很多理论分析

通过share 的方式得到的性能 和实际性能 gap 之间大。
所以需要缩小搜索空间



后验概率和真实概率接近，减少搜索空间，一层一层操作


比较大的搜索空间和小的搜索空间

google block的连接
本文 每个block的算力分配

---

1、pruning和nas具有紧密联系，剪枝是nas的一种，之后会合并
2、很不稳定，搜索的时候计算梯度不精确，更好的近似计算梯度。darts的最大的问题，epoch200个之后，都是skip，原因计算梯度的时候进行了近似（谢凌曦）。 搜索空间设计上 ，无法覆盖所有的搜索空间。现在的搜索空间太固定了。二叉树，random。平衡图和二叉树。 gradient-based 强者越强。搜索空间重建

3、 增强学习，遗传算法—启发式搜索，搜索巨大的空间。
前者在搜索的时候控制的东西更大，RL 和 EA，基于外壳，在外壳里面进行搜索，稍微稳定
darts 不稳定，搜索的结果不如随机的结果，dart本身的优化策略有问题，分阶段的优化，一方面优化网络参数（卷积权重），一方面优化网络结构参数（边上的权重）。优化中的假设，在现实生活中不存在，darts会是之后的热点，搜索空间大。

4、一个好的算法 应该具备搜索空间大，稳定，通用

nas提升的点有效