矩阵求导的本质与分子布局、分母布局的本质

大佬讲解的实在太吊了。
就拿大佬的总结说明一下:

矩阵求导结果,无非就是分子的转置、向量化,分母的转置、向量化,它们的各种组合而已。
1、分子布局的本质:分子是标量、列向量、矩阵向量化后的列向量;分母是标量、列向量转置后的行向量、矩阵的转置矩阵、矩阵向量化后的列向量转置后的行向量。
2、分母布局的本质:分子是标量、列向量转置后的行向量、矩阵向量化后的列向量转置后的行向量;分母是标量、列向量、矩阵自己、矩阵向量化后的列向量。
3.矩阵求导的本质就是每个f对变元中的每个元素逐个求导。

T代表的是转置

对分子布局公式的展开
∂ f 2 × 1 T ( x ) ∂ x 3 × 1 T = [ f 1 ( x ) f 2 ( x ) ] [ x 1 x 2 x 3 ] \frac{\partial f^{T}_{2\times1}(x)}{\partial x^{T}_{3\times1}}=\frac{\begin{bmatrix} f_1(x) \\ f_2(x) \end{bmatrix}}{\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}} x3×1Tf2×1T(x)= x1x2x3 [f1(x)f2(x)]
展开过后我们就可以按照上述总结的第三点逐个求偏导即可

你可能感兴趣的:(深度学习,矩阵,线性代数,深度学习)