协方差矩阵与二维高斯分布

多维高斯分布：

$$f(\mathbf{x})=\frac{1}{{(2\pi )}^{\frac{d}{2}}{\left|\begin{array}{c}\mathbf{\Sigma }\end{array}\right|}^{\frac{1}{2}}}exp[-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mu )]$$

协方差矩阵是一个对称矩阵，决定了多维高斯分布的形状。
要点：

1. 协方差矩阵的对角线元素为 $x$ 和 $y$ 轴的方差
2. 反斜对角线上的两个值为协方差，表明 $x$ 和 $y$ 的线性相关程度（正值时：$x$ 增大，$y$ 也随之增大；负值时：$x$ 增大，$y$ 随之减小）

以下以二维高斯分布为例，显示了不同协方差矩阵时的概率分布。

$\begin{array}{c}(左)\left[\begin{array}{cc}50& 0\\ 0& 50\end{array}\right](右)\left[\begin{array}{cc}10& 0\\ 0& 10\end{array}\right]\end{array}$

$\begin{array}{c}(左)\left[\begin{array}{cc}5& 0\\ 0& 1\end{array}\right](右)\left[\begin{array}{cc}10& 0\\ 0& 50\end{array}\right]\end{array}$

$\begin{array}{c}(左)\left[\begin{array}{cc}50& 0\\ 0& 10\end{array}\right](右)\left[\begin{array}{cc}1& 0\\ 0& 5\end{array}\right]\end{array}$

$\begin{array}{c}(左)\left[\begin{array}{cc}50& -10\\ -10& 50\end{array}\right](右)\left[\begin{array}{cc}10& -5\\ -5& 10\end{array}\right]\end{array}$

$\begin{array}{c}(左)\left[\begin{array}{cc}50& -30\\ -30& 50\end{array}\right](右)\left[\begin{array}{cc}10& -8\\ -8& 10\end{array}\right]\end{array}$

$\begin{array}{c}(左)\left[\begin{array}{cc}50& 10\\ 10& 50\end{array}\right](右)\left[\begin{array}{cc}10& 5\\ 5& 10\end{array}\right]\end{array}$
$\begin{array}{c}(左)\left[\begin{array}{cc}50& 30\\ 30& 50\end{array}\right](右)\left[\begin{array}{cc}10& 8\\ 8& 10\end{array}\right]\end{array}$

推荐材料：协方差矩阵的几何解释