自动求导背后的机制是什么

我们是幸福的，因为我们现在有一排的框架可以选用

1. torch7
2. tf
3. theano
4. mxnet
5. caffe
6. xxx

上面的这些工具给我们带了很大的方便。为了说明到底有多方便，我们先说说以前我们要自己实现的功能

1. 准备数据
2. 构建网络
3. forward过程
4. loss
5. bp
6. 优化算法

这个过程很多地方都可能出错，实现起来确实用了不少时间，还容易阴沟里翻船。

有了框架呢

1. 准备数据
2. 用框架的DSL写网络结构，简单清晰了很多
3. 写一个简单的脚本，来定义超参数
4. caffee or tea

其中我认为最最有意思和神奇的地方，就是这个如何根据我们的网络结构，把forward网络和backward网络构造好的。

---

---

ref

http://alexey.radul.name/ideas/2013/introduction-to-automatic-differentiation/