向量微分公式

机器学习或优化领域经常有对向量的微分，这里补一下相关公式.

含参矩阵函数的微分

1. $\frac{\mathrm{d}}{\mathrm{d}t}{e}^{\mathbf{A}t}=\mathbf{A}{e}^{\mathbf{A}t}=e^{\mathbf{A}t}\mathbf{A};$
2. $\frac{\mathrm{d}}{\mathrm{d}t}\cos \mathbf{A}t=-\mathbf{A}(\sin \mathbf{A}t)=-(\sin \mathbf{A}t)\mathbf{A};$
3. $\frac{\mathrm{d}}{\mathrm{d}t}\sin \mathbf{A}t=\mathbf{A}(\cos \mathbf{A}t)=(\cos \mathbf{A}t)\mathbf{A}.$

函数对向量的微分

运算法则：

1. 线性法则：${\nabla }_{\mathbf{x}}(af(\mathbf{x})+bg(\mathbf{x}))=a{\nabla }_{\mathbf{x}}f(\mathbf{x})+b{\nabla }_{\mathbf{x}}g(\mathbf{x}),a,b\in \mathbb{R};$
2. 乘积法则：${\nabla }_{\mathbf{x}}(f(\mathbf{x})g(\mathbf{x}))={\nabla }_{\mathbf{x}}f(\mathbf{x})g(\mathbf{x})+f(\mathbf{x}){\nabla }_{\mathbf{x}}g(\mathbf{x});$
3. 链式法则：${\nabla }_{\mathbf{x}}(f(y(\mathbf{x})))={\nabla }_{\mathbf{x}}[y(\mathbf{x}){]}^{\top }{\nabla }_{\mathbf{y}}f(\mathbf{y}).$

常用公式

其中的$\mathbf{A}、\mathbf{b}$分别是与$\mathbf{x}$无关的常矩阵和常向量.

$f(\mathbf{x})$	${\nabla }_{\mathbf{x}}f(\mathbf{x})$
$a\mathbf{x}$	$a$
${\mathbf{b}}^{\top }\mathbf{x}或{\mathbf{x}}^{\top }\mathbf{b}$	$\mathbf{b}$
${\mathbf{x}}^{\top }\mathbf{x}或\Vert \mathbf{x}{\Vert }_2^2$	$2\mathbf{x}$
$e^{-\frac{1}{2}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}}$	$e^{-\frac{1}{2}{\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}}\mathbf{A}\mathbf{x}$
${\mathbf{b}}^{\top }\mathbf{A}\mathbf{x}$	${\mathbf{A}}^{\top }\mathbf{b}$
${\mathbf{x}}^{\top }\mathbf{A}\mathbf{b}$	$\mathbf{A}\mathbf{b}$
${\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}$	$({\mathbf{A}+\mathbf{A}}^{\top })\mathbf{x}$