深度学习算子求导的学习笔记

1 致谢

感谢大佬的文章《Convolutional Neural Networks backpropagation: from intuition to derivation》，写的很清楚！

2 介绍

在这篇文章中，我们将跟随知乎文章《卷积神经网络(CNN)反向传播算法推导·南柯一梦宁沉沦》来学习Convolution的Backpropagation计算；

3 Convolution的卷积：nn.Conv2d()

CNN中的卷积实际上是点积互相关（Dot Products）；
在进行推导之前，我们需要先对符号进行定义，定义第$l$层的输出为
$$z_{x,y}^l={\mathbf{W}}^l\ast \mathbf{V}+b_{x,y}^l$$

4 学习笔记

4.1 维数相容原则——“神经网络反向传播的数学原理 | 李飞腾”

维数相容原则是可以让大家推测矩阵函数对应导数的技巧，

维数相容原则：

1. 使用实数函数的求导法则求导，如果求导结果不能相容，则对不自洽的结果做维度相容的调整，使其维度能符合矩阵乘法运算的定义
2. 维度相容调整：通过前后换序、转置使算式满足矩阵乘法的要求，且对于实映射函数$f(x),f(x)\in R^1$需满足：
   当$x\in R^{m\times n}$时，那么$\frac{\partial f(x)}{\partial x}\in R^{m\times n}$

接下来介绍一个使用维数相容原则快速猜测复合函数导数算式的例子：
已知，$J=(\mathbf{X}\mathbf{\omega }-y{)}^T(\mathbf{X}\mathbf{\omega }-y)={\Vert \mathbf{X}\mathbf{\omega }-y\Vert }^2$，其中$\mathbf{X}\in R^{m\times n},\mathbf{\omega }\in R^{n\times 1},y\in R^{m\times 1}$。
求：$\frac{\partial J}{\partial \mathbf{X}},\frac{\partial J}{\partial \mathbf{\omega }},\frac{\partial J}{\partial y}$。
step1：将所有变量当做实数来求导，（上式化为），$J=(X\omega -y{)}^2$，
根据复合函数求导法则有$\frac{\partial J}{\partial X}=2(X\omega -y)\omega ,\frac{\partial J}{\partial \omega }=2(X\omega -y)X,\frac{\partial J}{\partial y}=-2(X\omega -y)$
接下来我们来看看维度是否是自洽的，
$\frac{\partial J}{\partial \mathbf{X}}=2(\mathbf{X}\mathbf{\omega }-\mathbf{y})\mathbf{\omega }$：$(\mathbf{X}\mathbf{\omega }-\mathbf{y})\to m\times 1,\mathbf{\omega }\to n\times 1$，不自洽
$\frac{\partial J}{\partial \mathbf{\omega }}=2(\mathbf{X}\mathbf{\omega }-\mathbf{y})\mathbf{X}$：$(\mathbf{X}\mathbf{\omega }-\mathbf{y})\to m\times 1,\mathbf{X}\to m\times n$，不自洽
$\frac{\partial J}{\partial \mathbf{y}}=-2(\mathbf{X}\mathbf{\omega }-\mathbf{y})$：$(\mathbf{X}\mathbf{\omega }-\mathbf{y})\to m\times 1$，自洽
step2：根据step1的结果，依据维数相容原则做调整：前后换序、转置，
依据维数相容原则$\frac{\partial J}{\partial \mathbf{X}}\in R^{m\times n}$，但$\frac{\partial J}{\partial \mathbf{X}}=2(\mathbf{X}\mathbf{\omega }-\mathbf{y})\mathbf{\omega }$中$(\mathbf{X}\mathbf{\omega }-\mathbf{y})\in R^{m\times 1},\mathbf{\omega }\in R^{n\times n}$，自然地调整为$\frac{\partial J}{\partial \mathbf{X}}=2(\mathbf{X}\mathbf{\omega }-\mathbf{y}){\mathbf{\omega }}^T$；
同理：$\frac{\partial J}{\partial \mathbf{\omega }}\in R^{n\times 1}$，但$\frac{\partial J}{\partial \mathbf{\omega }}=2(\mathbf{X}\mathbf{\omega }-\mathbf{y})\mathbf{X}$中，$(\mathbf{X}\mathbf{\omega }-\mathbf{y})\in R^{m\times 1},\mathbf{X}\in R^{m\times n}$，那么通过换序、转置可以得到维数相容的结果$2{\mathbf{X}}^T(\mathbf{X}\mathbf{\omega }-\mathbf{y})$。