散度和KL散度的介绍

散度和KL散度的介绍

1. 梯度、散度与旋度

1.1 算子

定义一个向量算子$\nabla$(读作nabla或者del)：
$$\nabla =\frac{\partial }{\partial x}{e}_x+\frac{\partial }{\partial y}{e}_y+\frac{\partial }{\partial z}{e}_z\text{\hspace{1em}(1.1)}$$
该算子也叫哈密顿算子，其中$e_x,e_y和e_z$分别是$X,Y,Z$方向的单位向量用线性代数的风格表示为($T$为转置)：
$$\nabla =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}{]}^T\text{\hspace{1em}(1.2)}$$

1.2 梯度

1. $梯度是一个向量$，它表示函数在某个点处往哪个方向走，变化最快，即梯度等于方向导数的最大值。
2. 对于一个$标量函数\psi$，定义它的梯度为：
   $$\begin{array}{rl}grad(\psi )=\nabla .\psi & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}{]}^T.\psi \\ & =[\frac{\partial \psi }{\partial x},\frac{\partial \psi }{\partial y},\frac{\partial \psi }{\partial z}{]}^T\end{array}\text{\hspace{1em}(1.3)}$$
   梯度是$算子点乘标量函数$的过程。
3. 只有$标量函数才有梯度$，梯度是$纯量函数\Rightarrow 向量场$的过程。

1.3 散度

1. $散度是一个标量$，它表示一个闭合曲面内单位体积的通量。
2. $散度的作用对象是一个矢量函数$，对于一个$矢量函数f=[f_x,f_y,f_z{]}^T$，散度的定义为：
   $$\begin{array}{rl}div(f)=\nabla \cdot f={\nabla }^{T}f& =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}{f}_x\\ f_y\\ f_z\end{array}\right]\\ & =\frac{\partial f_x}{\partial x}+\frac{\partial f_y}{\partial y}+\frac{\partial f_z}{\partial z}\end{array}\text{\hspace{1em}(1.4)}$$
   可以将散度类比于线性代数中的$向量内积$，两个向量的内积是一个标量。
3. 散度是针对$矢量函数$，是$向量场\Rightarrow 纯量函数$的过程。
4. 某点散度代表了该点向外的通量体密度，其物理意义可以理解为：定量给出向量场中任一点是否为源点或汇点。
   • 若某点散度等于0，则说明其通量为0，流进=流出；
   • 若某点散度大于0，说明流出>流进，相当于一个$源点(source)$；
   • 若某点散度小于0，说明流出<流进，相当于一个$汇点(sink)$。
5. 应用：流体力学中不可压缩条件为：速度场的散度为0。

1.4 旋度

1. $旋度是一个向量$，它表示单位面积的环量，即环量面密度。
2. $旋度的作用对象是一个矢量函数$，对于一个$矢量函数f=[f_x,f_y,f_z{]}^T$，旋度的定义为：
   $$rot(f)=\nabla \times f=\left|\begin{array}{ccc}{e}_x& e_y& e_z\\ \frac{\partial }{\partial x}& \frac{\partial }{\partial y}& \frac{\partial }{\partial z}\\ f_x& f_y& f_z\end{array}\right|\text{\hspace{1em}(1.5)}$$
   公式(1.5)，可以将其看做是$行列式展开计算$，其中$(e_x,e_y,e_z)$表示$x,y,z$方向的单位向量，即：
   $$\begin{array}{rl}\nabla \times f& =(-1{)}^{1+1}{e}_x(\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z})+(-1{)}^{1+2}{e}_y(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})+(-1{)}^{1+3}{e}_z(\frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y})\\ & =e_x(\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z})-e_y(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})+e_z(\frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y})\end{array}\text{\hspace{1em}(1.6)}$$
3. 散度是针对$矢量函数$，是$向量场\Rightarrow 向量场$的过程。

1.5 对标量场的梯度求其散度

$$\begin{array}{rl}div(grad(\psi ))& =\nabla \cdot (\nabla \psi )={\nabla }^T(\nabla \psi )\\ & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}\frac{\partial \psi }{\partial x}\\ \frac{\partial \psi }{\partial y}\\ \frac{\partial \psi }{\partial z}\end{array}\right]\\ & =\frac{{\partial }^2\psi }{\partial x^2}+\frac{{\partial }^2\psi }{\partial y^2}+\frac{{\partial }^2\psi }{\partial z^2}\end{array}\text{\hspace{1em}(1.7)}$$
令公式(1.7)等于0，就得到了$Laplacian方程$：
$$\frac{{\partial }^2\psi }{\partial x^2}+\frac{{\partial }^2\psi }{\partial y^2}+\frac{{\partial }^2\psi }{\partial z^2}=0\text{\hspace{1em}(1.8)}$$

1.6 相关性质

1. $梯度的旋度恒为0向量$。注意这个0是零向量，不是标量的0。

   $$\begin{array}{rl}rot(grad(\psi ))& =\nabla \times \nabla \psi =\left|\begin{array}{ccc}{e}_x& e_y& e_z\\ \frac{\partial }{\partial x}& \frac{\partial }{\partial y}& \frac{\partial }{\partial z}\\ \frac{\partial \psi }{\partial x}& \frac{\partial \psi }{\partial y}& \frac{\partial \psi }{\partial z}\end{array}\right|\\ & =e_x(\frac{{\partial }^2\psi }{\partial y\partial z}-\frac{{\partial }^2\psi }{\partial z\partial y})-e_y(\frac{{\partial }^2\psi }{\partial x\partial z}-\frac{{\partial }^2\psi }{\partial z\partial x})+e_z(\frac{{\partial }^2\psi }{\partial x\partial y}-\frac{{\partial }^2\psi }{\partial y\partial x})\\ & =0\end{array}\text{\hspace{1em}(1.9)}$$

2. $旋度的散度恒为0标量$。注意这个0是是标量的0。

   $$\begin{array}{rl}rot(div(f))& =\nabla \cdot (\nabla \times f)={\nabla }^T(\nabla \times f)\\ & =[\frac{\partial }{\partial x},\frac{\partial }{\partial y},\frac{\partial }{\partial z}]\left[\begin{array}{c}\frac{\partial f_z}{\partial y}-\frac{\partial f_y}{\partial z}\\ -(\frac{\partial f_z}{\partial x}-\frac{\partial f_x}{\partial z})\\ \frac{\partial f_y}{\partial x}-\frac{\partial f_x}{\partial y}\end{array}\right]\\ & =(\frac{{\partial }^2{f}_z}{\partial y\partial x}-\frac{{\partial }^2{f}_y}{\partial z\partial x})-(\frac{{\partial }^2{f}_z}{\partial x\partial y}-\frac{{\partial }^2{f}_x}{\partial z\partial y})+(\frac{{\partial }^2{f}_y}{\partial x\partial z}-\frac{{\partial }^2{f}_x}{\partial y\partial z})\\ & =0\end{array}\text{\hspace{1em}(1.10)}$$

---

2. KL散度

2.1 KL散度简介

• KL散度的概念来源于概率论和信息论中。
• KL散度又被称为：$相对熵$、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。
• 在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法、GAN网络中。

2.2 KL散度的定义

KL散度的定义是建立在熵(Entropy)的基础上的。此处以离散随机变量为例，先给出熵的定义，再给定KL散度定义。

1. $熵定义$
   若一个离散随机变量$X$的可能取值为$X=\{x_1,x_2,\cdots ,x_n\}$，而对应的概率为$p_i=p(X=x_i)$，则随机变量$X$的$熵定义$为：
   $$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)\text{\hspace{1em}(2.1)}$$

   规定当$p(x_i)=0$时，$p(x_i)\log p(x_i)=0$。

2. $相对熵$
   若有两个随机变量$P$、$Q$，且其概率分布分别为$p(x)、q(x)$，则$p相对q$的$相对熵$为：
   $$D_{KL}(p||q)=\sum _{i=1}^{n}p(x)\log \frac{p(x)}{q(x)}\text{\hspace{1em}(2.2)}$$
   之所以称之为$相对熵$，是因为其可以通过两随机变量的交叉熵(Cross-Entropy)以及信息熵推导得到：

   推导：

   1. 针对上述离散变量的概率分布$p(x)、q(x)$而言，其交叉熵定义为：
      $$\begin{array}{r}H(p,q)=\sum _{x}p(x)\log \frac{1}{q(x)}=-\sum _{x}p(x)\log q(x)\end{array}$$
      在信息论中，交叉熵可认为是对预测分布$q(x)$用真实分布$p(x)$来进行编码时所需要的信息量大小。
   2. KL散度或相对熵可通过下式得出：
      $$\begin{array}{rl}{D}_{KL}(p\Vert q)& =H(p,q)-H(p)\\ & =-\sum _{x}p(x)\log q(x)-\sum _x-p(x)\log p(x)\\ & =-\sum _{x}p(x)(\log q(x)-\log p(x))\\ & =-\sum _{x}p(x)\log \frac{q(x)}{p(x)}\end{array}$$

2.3 KL散度的数学性质

KL散度可以用来衡量两个分布之间的差异，其具有如下数学性质：

2.3.1 正定性

$$D_{KL}(p||q)\ge 0\text{\hspace{1em}(2.3)}$$
可用Gibbs 不等式直接得出。先给出$Gibbs不等式$的内容：
若${\sum }_{i=1}^n{p}_i={\sum }_{i=1}^n{q}_i=1$,且$p_i,q_i\in (0,1]$,则有：
$$-\sum _i^n{p}_i\log p_i\le -\sum _i^n{p}_i\log q_i\text{\hspace{1em}(2.4)}$$
当且仅当$p_i=q_i(\forall i)$等号成立。

2.3.2 不对称性

1. KL散度并不是一个真正的度量或者距离，因为它不具有对称性：
   $$D(p\Vert q)\ne D(q\Vert p)\text{\hspace{1em}(2.5)}$$
2. 各种散度中，Jensen-Shannon divergence($JS散度$)是$对称的$。
   各种散度参考下一章节。

2.4 KL散度的理解

2.4.1 统计学意义上的KL散度:

1. 在统计学意义上来说，KL散度可以用来$衡量两个分布之间的差异程度$。
2. 若两个分布差异越小，KL散度越小；反之亦反。当两分布一致时，其KL散度为0。
3. 正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。

2.4.2 信息论角度的KL散度:

1. KL散度在信息论中的专业术语为相对熵。
2. KL散度可理解为$编码系统对信息进行编码时所需要的平均附加信息量$。

   1. 其中信息量的单位随着计算公式中log运算的底数而变化。
      • log底数为2：单位为比特(bit)
      • log底数为e：单位为奈特(nat)
   2. 参考阅读:
      • 英文版:Kullback-Leibler Divergence Explained
      • 英文版中文翻译: 解释Kullback-Leibler散度

2.5 连续随机变量的KL散度

2.5.1 一维高斯分布的随机变量KL散度

1. 定义
   假设$p$和$q$均是服从$N({\mu }_1,{\sigma }_1^2)$和$N({\mu }_2,{\sigma }_2^2)$的随机变量的概率密度函数 (probability density function) ，则从$q$到$p$的KL散度定义为：
   $$\begin{array}{rl}{D}_{KL}(p\Vert q)& =\int [\log (p(x))-\log (q(x))]p(x)dx\\ & =\int [p(x)\log (p(x))-p(x)\log (q(x))]dx\end{array}\text{\hspace{1em}(2.6)}$$
2. 化简公式
   已知正态分布的概率密度函数(probability density function)如下式：
   $$\begin{array}{rl}p(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\\ q(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\end{array}\text{\hspace{1em}(2.7)}$$
   • 公式(2.6)第一项$\int p(x)\log (p(x))dx$计算如下：
     $$\begin{array}{rl}\int p(x)\log (p(x))dx& =\int p(x)\log \left[\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\right]dx\\ & =\int p(x)\left[\log \frac{1}{\sqrt{2\pi }{\sigma }_1}+\log \exp \left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)\right]dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)+\int p(x)\left(-\frac{{\left(x-{\mu }_1\right)}^2}{2{\sigma }_1^2}\right)dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{1}dx+\int p(x){\mu }_1^{2}dx}{2{\sigma }_1^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_1^2\right)-\frac{\left({\mu }_1^2+{\sigma }_1^2\right)-\left(2{\mu }_1\times {\mu }_1\right)+{\mu }_1^2}{2{\sigma }_1^2}\\ & =-\frac{1}{2}\left[1+\log \left(2\pi {\sigma }_1^2\right)\right]\end{array}\text{\hspace{1em}(2.8)}$$
   • 公式(2.6)第二项可以同第一项按照类似的方式进行展开化简，如下：
     $$\begin{array}{rl}\int p(x)\log (q(x))dx& =\int p(x)\log \left[\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\right]dx\\ & =\int p(x)\left[\log \frac{1}{\sqrt{2\pi }{\sigma }_2}+\log \exp \left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)\right]dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)+\int p(x)\left(-\frac{{\left(x-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right)dx\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{\int p(x)x^{2}dx-\int p(x)2x{\mu }_{2}dx+\int p(x){\mu }_2^{2}dx}{2{\sigma }_2^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{\left({\mu }_1^2+{\sigma }_1^2\right)-\left(2{\mu }_2\times {\mu }_1\right)+{\mu }_2^2}{2{\sigma }_2^2}\\ & =-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}\end{array}\text{\hspace{1em}(2.9)}$$
   • 简化一维高斯分布的随机变量KL散度公式如下：
     $$\begin{array}{rl}KL(p,q)& =\int [p(x)\log (p(x))-p(x)\log (q(x))]dx\\ & =-\frac{1}{2}\left[1+\log \left(2\pi {\sigma }_1^2\right)\right]-\left[-\frac{1}{2}\log \left(2\pi {\sigma }_2^2\right)-\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}\right]\\ & =\log \frac{{\sigma }_2}{{\sigma }_1}+\frac{{\sigma }_1^2+{\left({\mu }_1-{\mu }_2\right)}^2}{2{\sigma }_2^2}-\frac{1}{2}\end{array}\text{\hspace{1em}(2.10)}$$

2.5.2 多元高斯分布的随机变量KL散度

1. 假设多元高斯分布$p$和$q$:
   $$\begin{array}{rl}& p(x)\sim N\left({\mu }_1,{\Sigma }_1^2\right)=\frac{1}{(2\pi {)}^{N/2}{\left|{\Sigma }_1\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_1\right)}^T{\Sigma }_1^{-1}\left(x-{\mu }_1\right)\right)\\ & q(x)\sim N\left({\mu }_2,{\Sigma }_2^2\right)=\frac{1}{(2\pi {)}^{N/2}{\left|{\Sigma }_2\right|}^{1/2}}\exp \left(-\frac{1}{2}{\left(x-{\mu }_2\right)}^T{\Sigma }_2^{-1}\left(x-{\mu }_2\right)\right)\end{array}\text{\hspace{1em}(2.11)}$$
   其中${\mu }_1,{\mu }_2$为均值，${\Sigma }_1,{\Sigma }_2$为方差。协方差矩阵$\Sigma$满足对称正定性质，$N$为多元变量$x$的维数:
   $$\begin{array}{rl}& {\mu }_1,{\mu }_2\in {\mathbb{R}}^{N\times 1}\\ & {\Sigma }_1,{\Sigma }_2\in {\mathbb{R}}^{N\times N}\end{array}\text{\hspace{1em}(2.12)}$$
2. 多元高斯分布随机变量的KL散度写为(推导与一维高斯分布的随机变量KL散度相似)：
   $$\begin{array}{rl}& D_{KL}(p(x)||q(x))=\int p(x)\log \frac{p(x)}{q(x)}dx={\mathbb{E}}_{p(x)}[\log p(x)-\log q(x)]\\ & =\frac{1}{2}{\mathbb{E}}_{p(x)}[-\log \det {\Sigma }_1-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)+\log \det {\Sigma }_2+(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)]\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}+\frac{1}{2}{\mathbb{E}}_{p(x)}[-(x-{\mu }_1{)}^T{\Sigma }_1^{-1}(x-{\mu }_1)+(x-{\mu }_2{)}^T{\Sigma }_2^{-1}(x-{\mu }_2)]\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}+\frac{1}{2}{\mathbb{E}}_{p(x)}\{-tr[{\Sigma }_1^{-1}(x-{\mu }_1)(x-{\mu }_1{)}^T]+tr[{\Sigma }_2^{-1}(x-{\mu }_2)(x-{\mu }_2{)}^T]\}\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-\frac{1}{2}tr\{{\mathbb{E}}_{p(x)}[{\Sigma }_1^{-1}(x-{\mu }_1)(x-{\mu }_1{)}^T]\}+\frac{1}{2}tr\{{\mathbb{E}}_{p(x)}[{\Sigma }_2^{-1}(x-{\mu }_2)(x-{\mu }_2{)}^T]\}\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-\frac{N}{2}+\frac{1}{2}tr\{{\mathbb{E}}_{p(x)}[{\Sigma }_2^{-1}(x{x}^T-{\mu }_2{x}^T-x{\mu }_2^T+{\mu }_2{\mu }_2^T)]\}\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-\frac{N}{2}+\frac{1}{2}tr[{\Sigma }_2^{-1}({\Sigma }_1+{\mu }_1{\mu }_1^T-{\mu }_2{\mu }_1^T-{\mu }_1{\mu }_2^T+{\mu }_2{\mu }_2^T)]\\ & =\frac{1}{2}\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-\frac{N}{2}+\frac{1}{2}tr({\Sigma }_2^{-1}{\Sigma }_1)+\frac{1}{2}tr[{\Sigma }_2^{-1}({\mu }_1{\mu }_1^T-{\mu }_2{\mu }_1^T-{\mu }_1{\mu }_2^T+{\mu }_2{\mu }_2^T)]\\ & =\frac{1}{2}\{\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-N+tr({\Sigma }_2^{-1}{\Sigma }_1)+tr({\mu }_1^T{\Sigma }_2^{-1}{\mu }_1-{\mu }_1^T{\Sigma }_2^{-1}{\mu }_2-{\mu }_2^T{\Sigma }_2^{-1}{\mu }_1+{\mu }_2^T{\Sigma }_2^{-1}{\mu }_2)\}\\ & =\frac{1}{2}\{\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-N+tr({\Sigma }_2^{-1}{\Sigma }_1)+tr({\mu }_1^T{\Sigma }_2^{-1}{\mu }_1-2{\mu }_1^T{\Sigma }_2^{-1}{\mu }_2+{\mu }_2^T{\Sigma }_2^{-1}{\mu }_2)\}\\ & =\frac{1}{2}\{\log \frac{\det {\Sigma }_2}{\det {\Sigma }_1}-N+tr({\Sigma }_2^{-1}{\Sigma }_1)+({\mu }_2-{\mu }_1{)}^T{\Sigma }_2^{-1}({\mu }_2-{\mu }_1)\}\end{array}\text{\hspace{1em}(2.13)}$$

   其中运用到的一些矩阵等式：

   1. $Ep(\cdot )$代表⋅在概率密度函数$p(x)$的期望。多元正态分布下期望矩阵化的表示
      $$E(x^{T}Ax)=tr(A\Sigma )+{\mu }^{T}A\mu \text{\hspace{1em}(2.14)}$$
   2. 矩阵的迹的性质
      $$\begin{array}{l}\text{ 矩阵线性组合迹不变: }\mathrm{tr}(\alpha A+\beta B)=\alpha \mathrm{tr}(A)+\beta \mathrm{tr}(B)\\ \text{ 矩阵转置迹不变: }\mathrm{tr}(A)=\mathrm{tr}\left(A^T\right)\\ \text{ 两方阵相乘交换迹不变： }\mathrm{tr}(AB)=\mathrm{tr}(BA)\\ \text{ 轮换不变性: }\mathrm{tr}(ABC)=\mathrm{tr}(BCA)=\mathrm{tr}(CAB)\end{array}\text{\hspace{1em}(2.15)}$$
   3. 对于列向量$\lambda$，${\lambda }^{T}A\lambda$的结果是一个标量，而标量的迹就是这个标量，即$tr({\lambda }^{T}A\lambda )={\lambda }^{T}A\lambda$，因此
      $${\lambda }^{T}A\lambda =tr({\lambda }^{T}A\lambda )=tr(A\lambda {\lambda }^T)\text{\hspace{1em}(2.16)}$$
   4. 多元高斯分布中均值$\mu$和方差$\Sigma$的性质：
      $$E[x{x}^T]=\Sigma +\mu {\mu }^T\text{\hspace{1em}(2.17)}$$
      $$E(x^{T}Ax)=tr(A\Sigma )+{\mu }^{T}A\mu \text{\hspace{1em}(2.18)}$$

因此：
$$\begin{array}{rl}{D}_{KL}(p\Vert q)=& \frac{1}{2}\log \frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}{E}_{p(x)}\left[{\left(x-{\mu }_2\right)}^T{\Sigma }_2^{-1}\left(x-{\mu }_2\right)-{\left(x-{\mu }_1\right)}^T{\Sigma }_1^{-1}\left(x-{\mu }_1\right)\right]\\ =& \frac{1}{2}\log \frac{|{\Sigma }_2|}{|{\Sigma }_1|}+\frac{1}{2}\mathrm{tr}\left({\Sigma }_2^{-1}{\Sigma }_1\right)+{\left({\mu }_1-{\mu }_2\right)}^T{\Sigma }_2^{-1}{\left({\mu }_1-{\mu }_2\right)}^T-\frac{1}{2}N\end{array}\text{\hspace{1em}(2.19)}$$

参考：

• 快速理解梯度，散度和旋度
• 梯度、散度、旋度与矢量分析
• Kullback-Leibler Divergence Explained
• KL散度(Kullback-Leibler Divergence)介绍及详细公式推导