矩阵、向量求导法则

复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。

 x is a column vector, A is a matrix

$d(A*x)/dx=A$            

$d(x^T*A)/dx^T=A$   

$d(x^T*A)/dx=A^T$    

$d(x^T*A*x)/dx=x^T(A^T+A)$

 

practice: