多元高斯分布的方差最大似然估计

多元高斯分布是指多维随机变量的联合概率密度函数服从高斯分布，通常用以下公式表示：

$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{d/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$$

其中，$\mathbf{x}$ 是一个 $d$ 维的向量，$\mathbf{\mu }$ 是一个 $d$ 维的均值向量，$\mathbf{\Sigma }$ 是一个 $d\times d$ 的协方差矩阵。

我们的目标是要通过样本数据来估计参数 $\mathbf{\mu }$ 和 $\mathbf{\Sigma }$ 的值。根据最大似然估计的原理，我们需要找到一组参数 ${\mathbf{\mu }}_{ML}$ 和 ${\mathbf{\Sigma }}_{ML}$，使得样本数据在这组参数下出现的概率最大。

首先，我们考虑均值 $\mathbf{\mu }$ 的最大似然估计。假设我们有 $N$ 个样本数据 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N$，我们的目标是最大化这些样本数据在多元高斯分布下的联合概率密度函数。可以写成如下形式：

$$\begin{array}{rlrl}L(\mathbf{\mu },\mathbf{\Sigma })& =\prod _{n=1}^{N}p({\mathbf{x}}_n)& =\prod _{n=1}^N\frac{1}{(2\pi {)}^{d/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left(-\frac{1}{2}({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_n-\mathbf{\mu })\right)& =\frac{1}{(2\pi {)}^{Nd/2}|\mathbf{\Sigma }{|}^{N/2}}\exp \left(-\frac{1}{2}\sum _{n=1}^N({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_n-\mathbf{\mu })\right)\end{array}$$

对上式取对数，并对 $\mathbf{\mu }$ 求偏导数，并令其等于零，可以得到如下的最大似然估计：

$${\mathbf{\mu }}_{ML}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$

接下来，我们考虑协方差矩阵 $\mathbf{\Sigma }$ 的最大似然估计。同样地，我们要找到一组参数 ${\mathbf{\Sigma }}_{ML}$，使得样本数据在这组参数下出现的概率最大。同样地，我们对样本数据的联合概率密度函数取对数，然后对 $\mathbf{\Sigma }$ 求偏导数，并令其等于零，可以得到如下的最大似然估计：

$${\mathbf{\Sigma }}_{ML}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T$$

这个结果表明，协方差矩阵的最大似然估计可以通过样本数据的协方差矩阵来计算。如果我们假设样本数据是独立同分布的，则上述公式可以进一步简化为：

$${\mathbf{\Sigma }}_{ML}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T$$

这个公式可以直接用于实际计算。