【系列二】数学基础—概率—高斯分布2

1. 高维(二维)高斯分布

$$x_i\backsim N(\mu ,\Sigma )=\frac{1}{(2\pi {)}^{\frac{p}{2}}{\Sigma }^{\frac{1}{2}}}\exp (-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
$$x=\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_p\end{array}\right),\mu =\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_p\end{array}\right),\Sigma =\left(\begin{array}{c}{\sigma }_{11},{\sigma }_{12}\dots ,{\sigma }_{1p}\\ {\sigma }_{21},{\sigma }_{22}\dots ,{\sigma }_{2p}\\ ⋮\\ {\sigma }_{p1},{\sigma }_{p2}\dots ,{\sigma }_{pp}\end{array}\right)$$

$(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )$其实是$x,\mu$之间的马氏距离，是一个常数(三个矩阵的维度代进去，简答计算结果为数)，$\Sigma$是一个正定矩阵(一般是半正定)。$\Sigma =1$时，马氏距离=欧式距离。

我们先研究方差矩阵$\Sigma$，对其进行特征值分解，$\Sigma =U\Lambda U^T,U^{T}U=U{U}^T=I,\Lambda =diag({\lambda }_i)$
$$\Sigma =U\Lambda U^T=\left(\begin{array}{c}{u}_1,u_2,\dots ,u_p\end{array}\right)diag({\lambda }_i)\left(\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_p\end{array}\right)=\sum _{i=1}^p{u}_i{\lambda }_i{u}_i^T$$
$${\Sigma }^{-1}=(U\Lambda U^T{)}^{-1}=(U^T{)}^{-1}{\Lambda }^{-1}{U}^{-1}=U{\Lambda }^{-1}{U}^T=\sum _{i=1}^p{u}_i{\lambda }^{-1}{u}_i^T$$
$$\begin{gathered} \Delta =(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )=(x-\mu {)}^T\sum _{i=1}^p{u}_i{\lambda }^{-1}{u}_i^T(x-\mu )= \\ \sum _{i=1}^p(x-\mu {)}^T{u}_i{\lambda }^{-1}{u}_i^T(x-\mu )\stackrel{y_i=(x-{\mu }^T)u_i}{=}\sum _{i=1}^p{y}_i{\lambda }_i^{-1}{y}_i^T=\sum _{i=1}^p\frac{y_i^2}{{\lambda }_i} \end{gathered}$$
还记得$i=1,2,\dots ,p$，当$p=2$时，$\Delta =\frac{y_i^2}{{\lambda }_1}+\frac{y_i^2}{{\lambda }_2}$，这在几何上实际是一个椭圆曲线，$\Delta$是马氏距离，其取值假设为r(参考下一节)，则对应不同长短轴的椭圆。

2. 局限性

$$p(x)=\frac{1}{(2\pi {)}^{\frac{p}{2}}{\Sigma }^{\frac{1}{2}}}\exp (-\frac{1}{2}\Delta )$$
这个一个概率密度函数，$x$是随机变量，$\mu ,\Sigma$是参数(定值)，$p(x)$其取值为$[0,1]$。所以$p(x)$取值取决于$\Delta$，$\Delta$越大，上图中的椭圆也就越大，而且椭圆的大小有一个范围。
如果$p=3$，参考等高线图。

局限性1：
$\Sigma$共有$\frac{p^2+p}{2}=O(p^2)$个参数，计算的话复杂度太大。
解决办法：简化方差矩阵为对角阵，$diag({\lambda }_i)$，则上图中‘斜’的椭圆会变正，特别的，当${\lambda }_1={\lambda }_2=\dots ={\lambda }_i$时，椭圆变成圆，称为各向同性。
局限性2：
高斯分布本身具有局限性，具体参见后续高斯混合模型(Gaussian mixture model)内容。

原视频链接

【机器学习】【白板推导系列】【合集 1～23】