[论文极简笔记]FBNet: Hardware-Aware Efficient ConvNet Design via Differentiable Neural Architecture Search

这是CVPR2019接收的一篇文章，个人觉得几篇思路比较雷同，但贵在实验做的完备，能自圆其说。

之前的架构搜索方法有两个缺点：

1. 一个一个分离训练模型；
2. FLOPs指标不够可靠。

新方法DNAS：

1. DNAS使用基于梯度的方法，不同于之前NAS流派的基于RL的方法。
2. DNAS优化的是结构分布，不同于之前是直接寻找的结构。
3. DNAS的loss由交叉熵和延时两部分组成。
4. 使用速查表去计算延时,延时是硬件相关的,之前用FLOPs度量速度。
5. 延时关于层结构是可微的。

---

latency lookup table model
延时速查表模型

过记录几百个在搜索空间中用到的操作的延时，我们能够简单地估算出整个搜索空间中全部1021个结构的运行时间。

---

怎样梯度下降介绍

---

Result