聊聊关于矩阵反向传播的梯度计算

目录

1. 前向传播

2. 反向传播

3. 矩阵反向传播

4. 总结

---

1. 前向传播

建立如图所示的简单网络

W 是权重矩阵，初始赋值为 2*2 的矩阵

X 是输入特征，初始赋值为 2*1 的矩阵

这样通过矩阵乘法 ， Y = WX ，应该得到一个 2*1 的输出矩阵

最后定义loss 为二范数的平方，即 out = 0.22^2 + 0.26^2 = 0.116

 

代码演示为：

torch.norm 是计算矩阵范数的函数

 

2. 反向传播

反向传播的计算根据链式法则，这里不作数学上的推导。在计算图当中，只需要记住以下常用的即可：（注：需要注意的是，传递的值是反向传递过来的，还是正向传播输入的）

• 加法节点：上游传回来的值直接传递到下游
• 乘法节点：上游传回来的值，乘上输入信号的翻转值
• Max 门：上游传来的值，只传递给输入信号的最大者，其余为0
• ReLU ： 如果输入信号大于 0，则上游直接传递；否则，为0

本章，只需要知道乘法节点计算图传递的规则即可

3. 矩阵反向传播

先将结果进行展示：

 

 

---

 

首先，Y 的梯度很容易计算，Y = [0.22 0.26]（转置）

因为这里out 是二范数的平方，因此out = x1^2 + x2^2 ，对Y进行偏导的话，就是2倍的关系

 

---

 

对W和X进行计算的话，因为这里是乘法节点（W*X），因此这里需要将输入信号反转

例如求取W反向传播，应该是上游传递过来的和X的矩阵乘法 

这里只要记住反向传播的维度要和输入保持一致就行了

也就是说，目标是得到一个2*2大小的W反向传播，已经知道上游传过来的是一个2*1大小的矩阵，而将输入信号翻转的X是一个2*1大小的。那么根据矩阵乘法，只能是上游传递过来的 * X的转置

 

 

---

同样的道理，对X计算反向传播

目标是得到一个2*1大小的X反向传播，已经知道上游传过来的是一个2*1大小的矩阵，而将输入翻转的W是一个2*2大小的。那么根据矩阵乘法，只能是W的转置 * 上游传递过来的值

 

4. 总结

本章采用的是 W * X = Y 的方式计算。因为资料或者书籍上面有时候矩阵乘法的顺序会不一样，有的还会加上转置等等。其实这些都是为了满足矩阵乘法规则

为了不会混乱，可以这样记忆。可以不用考虑乘法的顺序或者有无转置

A * B = C 的矩阵乘法

计算谁的时候，就用反向传递的值替换掉谁，然后将另一个元素转置。顺序不变

例如：

计算W梯度的时候，用反向传递的值替换掉W，变成 y * X（这里y是反向传递的值，本章y = 2 Y）

然后另一个元素转置，变成y * X（转置）

计算X梯度的时候，用反向传递的值替换掉X，变成 W * y（这里y是反向传递的值，本章y = 2 Y）

然后另一个元素转置，变成W（转置）* y

或者根据上游传递的信号的维度，和 输入信号翻转的维度进行矩阵计算，也可以得到正确的计算