07自动求导（李沐深度学习笔记）

这里求导可以参看上一节这张图，$\frac{\partial <x,w>}{\partial w}=x^T\frac{\partial w}{\partial w}+w^T\frac{\partial x}{\partial w}=x^T\frac{\partial w}{\partial w}=x^T$，因为$\frac{\partial w}{\partial w}=1$,$\frac{\partial x}{\partial w}=0$

这里的$\frac{\partial Xw}{\partial w}$的X与w无关，可以提出来，因为$\frac{\partial w}{\partial w}=1$，所以最后$\frac{\partial Xw}{\partial w}=X\times 1=X$



MXNet和TensorFlow都可以显示构造计算图，数学上都是这样显示的构造，先有公式再代入值

MXNet和Pytorch可以隐式的构造