向量求导的二个公式

$$\frac{\partial {\mathbf{x}}^T\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$
$$\frac{\partial {\mathbf{x}}^T\mathbf{B}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{B}+{\mathbf{B}}^T\right)\mathbf{x}$$
例子（最小二乘）：
$$\frac{df}{db}=\frac{d(y-Xb{)}^T(y-Xb)}{db}=\frac{d\left(y^{T}y-2b^T{X}^{T}y+b^T{X}^{T}Xb\right)}{db}=-2X^{T}y+2X^{T}Xb$$