pytorch深度学习实战lesson7

第七课 矩阵求导

本节课我们将把矩阵与导数结合到一起，学会矩阵求导操作后，对以后的优化模型有很大的帮助。                                                                          

标量的导数（高中学的）

亚导数

我理解的亚导数就是对导数不存在的函数求导，然后得到的分段的导数就是亚导数。

梯度

1、当y是标量，x是向量。

它求导之后变成行向量。

举个例子：

2、当y是向量，x是标量。

它求导之后变成列向量。

3、当y是向量，x是向量。

它求导之后是矩阵。

标量对标量求导是标量；标量对向量求导是向量；标量对矩阵求导是向量。

向量对标量求导是向量；向量对向量求导是向量；向量对矩阵求导是矩阵。

矩阵对标量求导是向量；矩阵对向量求导是矩阵；矩阵对矩阵求导是多个矩阵。