【机器学习基础】概率分布之高斯分布

本系列为《模式识别与机器学习》的读书笔记。

一，多元高斯分布

考虑⾼斯分布的⼏何形式，⾼斯对于 $\mathbf{x}$ 的依赖是通过下⾯形式的⼆次型：
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\text{\hspace{1em}(2.30)}$$
其中，$\Delta$ 被叫做 $\mathbf{\mu }$ 和 $\mathbf{x}$ 之间的马⽒距离（Mahalanobis distance）。 当 $\mathbf{\Sigma }$ 是单位矩阵时，就变成了欧式距离。对于 $\mathbf{x}$ 空间中这个⼆次型是常数的曲⾯，⾼斯分布也是常数。

现在考虑协⽅差矩阵的特征向量⽅程：
$$\mathbf{\Sigma }{\mathbf{\mu }}_i={\lambda }_i{\mathbf{\mu }}_i\text{\hspace{1em}(2.31)}$$
其中 $i=1,\dots ,D$。由于 $\mathbf{\Sigma }$ 是实对称矩阵，因此它的特征值也是实数，并且特征向量可以被选成单位正交的，即：
$${\mathbf{\mu }}_i^T{\mathbf{\mu }}_j=I_{ij}\text{\hspace{1em}(2.32)}$$

其中 $I_{ij}$ 是单位矩阵的第 $i,j$ 个元素，满⾜：
$$I_{ij}=\{\begin{array}{l}1，如果i=j\\ 0，其他情况\end{array}\text{\hspace{1em}(2.33)}$$
协⽅差矩阵 $\mathbf{\Sigma }$ 可以表⽰成特征向量的展开的形式：
$$\mathbf{\Sigma }=\sum _{i=1}^D{\lambda }_i{\mathbf{\mu }}_i{\mathbf{\mu }}_i^T\text{\hspace{1em}(2.34)}$$
协⽅差矩阵的逆矩阵 ${\mathbf{\Sigma }}^{-1}$ 可以表⽰成特征向量的展开的形式：
$${\mathbf{\Sigma }}^{-1}=\sum _{i=1}^D\frac{1}{{\lambda }_i}{\mathbf{\mu }}_i{\mathbf{\mu }}_i^T\text{\hspace{1em}(2.35)}$$
⼆次型公式(2.30)即可表示为：
$${\Delta }^2=\sum _{i=1}^D\frac{y_i^2}{{\lambda }_i}\text{\hspace{1em}(2.36)}$$
其中，$y_i^2={\mathbf{u}}_{\mathbf{i}}^{\mathbf{T}}(\mathbf{x}-\mathbf{\mu })$ 。

把 $\{y_i\}$ 表⽰成单位正交向量 ${\mathbf{\mu }}_{\mathbf{i}}$ 关于原始的 $x_i$ 坐标经过平移和旋转后形成的新的坐标系。定义向量 $\mathbf{y}=(y_1,\dots ,y_D{)}^T$ ，即有：
$$\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathbf{\mu })\text{\hspace{1em}(2.37)}$$
其中 $\mathbf{U}$ 是⼀个矩阵，它的⾏是向量 ${\mathbf{u}}_i^T$ 。从公式(2.32)可以看出 $\mathbf{U}$ 是⼀个正交矩阵， 即它满⾜性质 $\mathbf{U}{\mathbf{U}}^T=\mathbf{I}$ ，因此也满⾜ ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$ ，其中 $\mathbf{I}$ 是单位矩阵。

⼀个特征值严格⼤于零的矩阵被称为正定（positive definite）矩阵。偶尔遇到⼀个或者多个特征值为零的⾼斯分布，那种情况下分布是奇异的，被限制在 了⼀个低维的⼦空间中。如果所有的特征值都是⾮负的，那么这个矩阵被称为半正定（positive semidefine）矩阵。

如图2.12，红⾊曲线表⽰⼆维空间 $\mathbf{x}=(x_1,x_2)$ 的⾼斯分布的常数概率密度的椭圆⾯， 它表⽰的概率密度为 $\exp (-\frac{1}{2})$，值是在 $\mathbf{x}=\mathbf{\mu }$ 处计算的。椭圆的轴由协⽅差矩阵的特征向量 ${\mu }_i$ 定义，对应的特征值为 ${\lambda }_i$ 。

现在考虑在由 $y_i$ 定义的新坐标系下⾼斯分布的形式。 从 $\mathbf{x}$ 坐标系到 $\mathbf{y}$ 坐标系， 我们有⼀ 个 Jacobian矩阵 $\mathbf{J}$ ，它的元素为：
$${\mathbf{J}}_{ij}=\frac{\partial x_i}{\partial j_j}=U_{ij}\text{\hspace{1em}(2.38)}$$

其中 $U_{ji}$ 是矩阵 ${\mathbf{U}}^T$ 的元素。使⽤矩阵 $\mathbf{U}$ 的单位正交性质，我们看到 Jacobian矩阵 ⾏列式的平⽅为：
$$|{\mathbf{J}}^2|=|{\mathbf{U}}^T{|}^2=|{\mathbf{U}}^T||\mathbf{U}|=|{\mathbf{U}}^T\mathbf{U}|=|\mathbf{I}|=1\text{\hspace{1em}(2.39)}$$
从而可知，$|\mathbf{J}|=1$ ，并且，⾏列式 $|\mathbf{\Sigma }|$ 的协⽅差矩阵可以写成特征值的乘积，因此：
$$|\mathbf{\Sigma }{|}^{\frac{1}{2}}=\prod _{j=1}^D{\lambda }_j^{\frac{1}{2}}\text{\hspace{1em}(2.40)}$$
因此在 $\mathbf{y}$ 坐标系中，⾼斯分布的形式为：
$$p(\mathbf{y})=p(\mathbf{x})|\mathbf{J}|=\prod _{j=1}^D\frac{1}{(2\pi {\lambda }_j{)}^{\frac{1}{2}}}\exp \left\{-\frac{y_i^2}{2{\lambda }_j}\right\}\text{\hspace{1em}(2.41)}$$

这是 $D$ 个独⽴⼀元⾼斯分布的乘积。

在 $\mathbf{y}$ 坐标系中，概率分布的积分为：
$$\int p(\mathbf{y})\mathrm{d}\mathbf{y}=\prod _{j=1}^D{\int }_{-\infty }^{\infty }\frac{1}{(2\pi {\lambda }_j{)}^{\frac{1}{2}}}\exp \left\{-\frac{y_i^2}{2{\lambda }_j}\right\}\mathrm{d}{y}_j=1\text{\hspace{1em}(2.42)}$$
⾼斯分布下 $\mathbf{x}$ 的期望为：
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}]& =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}\mathbf{x}\mathrm{d}\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}{\mathbf{z}}^T{\mathbf{\Sigma }}^{-1}\mathbf{z}\right\}(\mathbf{z}+\mathbf{\mu })\mathrm{d}\mathbf{z}\end{array}\text{\hspace{1em}(2.43)}$$
其中，$\mathbf{z}=\mathbf{x}-\mathbf{\mu }$ 。注意到指数位置是 $\mathbf{z}$ 的偶函数，并且由于积分区间为 $(-\infty ,\infty )$，因此在因⼦ $(\mathbf{z}+\mathbf{\mu })$ 中的 $\mathbf{z}$ 中的项会由于对称性变为零。因此 $\mathbb{E}[\mathbf{x}]=\mathbf{\mu }$ 。称 $\mathbf{\mu }$ 为⾼斯分布的均值。

现在考虑⾼斯分布的⼆阶矩。对于多元⾼斯分布，有 $D^2$ 个由 $\mathbb{E}[x_i{x}_j]$ 给出的⼆阶矩，可以聚集在⼀起组成矩阵 $\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]$。
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]& =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}\mathbf{x}{\mathbf{x}}^T\mathrm{d}\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{\frac{D}{2}}}\frac{1}{|\mathbf{\Sigma }{|}^{\frac{1}{2}}}\int \exp \left\{-\frac{1}{2}{\mathbf{z}}^T{\mathbf{\Sigma }}^{-1}\mathbf{z}\right\}(\mathbf{z}+\mathbf{\mu })(\mathbf{z}+\mathbf{\mu }{)}^T\mathrm{d}\mathbf{z}\end{array}\text{\hspace{1em}(2.44)}$$
其中，$\mathbf{z}=\mathbf{x}-\mathbf{\mu }$ ，$\mathbf{z}={\sum }_{j=1}^D{y}_i{\mathbf{u}}_{\mathbf{j}}$ ，$y_i={{\mathbf{u}}_{\mathbf{j}}}^T\mathbf{z}$ 。

由此可以推导出：
$$\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]=\mathbf{\mu }{\mathbf{u}}^T+\mathbf{\Sigma }\text{\hspace{1em}(2.45)}$$
随机变量 $\mathbf{x}$ 的协⽅差（covariance），定义为：
$$\text{var}[\mathbf{x}]=\mathbb{E}[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(\mathbf{x}-\mathbb{E}[\mathbf{x}]{)}^T]\text{\hspace{1em}(2.46)}$$
对于⾼斯分布这⼀特例，我们可以使⽤ $\mathbb{E}[\mathbf{x}]=\mathbf{\mu }$ 以及公式(2.45)的结果，得到：
$$\text{var}[\mathbf{x}]=\mathbf{\Sigma }\text{\hspace{1em}(2.47)}$$
由于参数 $\mathbf{\Sigma }$ 公式了⾼斯分布下 $\mathbf{x}$ 的协⽅差，因此它被称为协⽅差矩阵。

二，条件⾼斯分布

多元⾼斯分布的⼀个重要性质：如果两组变量是联合⾼斯分布，那么以⼀组变量为条件， 另⼀组变量同样是⾼斯分布。

假设 $\mathbf{x}$ 是⼀个服从⾼斯分布 $\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Sigma })$ 的 $D$ 维向量。我们把 $\mathbf{x}$ 划分成两个不相交的⼦集 ${\mathbf{x}}_a$ 和 ${\mathbf{x}}_b$ 。 不失⼀般性， 令 ${\mathbf{x}}_a$ 为 $\mathbf{x}$ 的前 $M$ 个分量， 令 ${\mathbf{x}}_b$ 为剩余的 $D-M$ 个分量，因此
$$\mathbf{x}=\left(\genfrac{}{}{0ex}{}{{\mathbf{x}}_a}{{\mathbf{x}}_b}\right)$$
同理，对应的对均值向量 $\mathbf{\mu }$ 的划分，即
$$\mathbf{\mu }=\left(\genfrac{}{}{0ex}{}{{\mathbf{\mu }}_a}{{\mathbf{\mu }}_b}\right)$$
协⽅差矩阵 $\mathbf{\Sigma }$ 为：
$$\mathbf{\Sigma }=\left(\begin{array}{cc}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right)\text{\hspace{1em}(2.48)}$$
注意，协⽅差矩阵的对称性 ${\mathbf{\Sigma }}^T=\mathbf{\Sigma }$ 表明 ${\mathbf{\Sigma }}_{aa}$ 和 ${\mathbf{\Sigma }}_{bb}$ 也是对称的，⽽ ${\mathbf{\Sigma }}_{ba}={\mathbf{\Sigma }}_{ab}^T$ 。

在许多情况下，使⽤协⽅差矩阵的逆矩阵⽐较⽅便，也叫精度矩阵（precision matrix），即：
$$\mathbf{\Lambda }\equiv {\mathbf{\Sigma }}^{-1}\text{\hspace{1em}(2.49)}$$
精度矩阵的划分形式
$$\mathbf{\Lambda }=\left(\begin{array}{cc}{\mathbf{\Lambda }}_{aa}& {\mathbf{\Lambda }}_{ab}\\ {\mathbf{\Lambda }}_{ba}& {\mathbf{\Lambda }}_{bb}\end{array}\right)$$
关于分块矩阵的逆矩阵的恒等式：
$${\left(\begin{array}{cc}\mathbf{A}& \mathbf{B}\\ \mathbf{C}& \mathbf{D}\end{array}\right)}^{-1}=\left(\begin{array}{cc}\mathbf{M}& -\mathbf{M}\mathbf{B}{\mathbf{D}}^{-1}\\ -{\mathbf{D}}^{-1}\mathbf{C}\mathbf{M}& {\mathbf{D}}^{-1}+\mathbf{C}\mathbf{M}\mathbf{B}{\mathbf{D}}^{-1}\end{array}\right)\text{\hspace{1em}(2.50)}$$
其中， $\mathbf{M}=(\mathbf{A}-\mathbf{B}{\mathbf{D}}^{-1}\mathbf{C}{)}^{-1}$ ，${\mathbf{M}}^{-1}$ 被称为公式(2.50)左侧矩阵关于⼦矩阵 $\mathbf{D}$ 的舒尔补（Schur complement）。

由以上公式和相关结论可以推导出条件概率分布 $p({\mathbf{x}}_a|{\mathbf{x}}_b)$ 的均值和协⽅差的表达式：
$${\mathbf{\mu }}_{a|b}={\mathbf{\mu }}_a+{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}({\mathbf{x}}_b-{\mathbf{\mu }}_b)\text{\hspace{1em}(2.51)}$$

$${\mathbf{\Sigma }}_{a|b}={\mathbf{\Sigma }}_{aa}-{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}{\mathbf{\Sigma }}_{ba}\text{\hspace{1em}(2.52)}$$

三，边缘⾼斯分布

对于边缘高斯分布：
$$p({\mathbf{x}}_a)=\int p({\mathbf{x}}_a,{\mathbf{x}}_b)\mathrm{d}{\mathbf{x}}_b\text{\hspace{1em}(2.53)}$$
同条件高斯分布一样，可以推导出边缘概率分布 $p({\mathbf{x}}_a)$ 的均值和协⽅差的表达式：
$${\mathbf{\Sigma }}_a=({\mathbf{\Lambda }}_{aa}-\mathbf{\Lambda }ab{\mathbf{\Lambda }}_{bb}^{-1}{\mathbf{\Lambda }}_{ba}{)}^{-1}\text{\hspace{1em}(2.54)}$$

$$\mathbb{E}[{\mathbf{x}}_a]={\mathbf{\mu }}_a\text{\hspace{1em}(2.55)}$$

$$\text{cov}[{\mathbf{x}}_a]={\mathbf{\Sigma }}_{aa}\text{\hspace{1em}(2.56)}$$

如图2.13，两个变量上的⾼斯概率分布 $p(x_a,x_b)$ 的轮廓线。

如图2.14，边缘概率分布 $p(x_a)$（蓝⾊曲线）和 $x_b=0.7$ 的条件概率分布 $p(x_a|x_b)$（红⾊曲线）。

四，⾼斯变量的贝叶斯定理

令边缘概率分布和条件概率分布的形式：
$$p(\mathbf{x})=\mathcal{N}(\mathbf{x}|\mathbf{\mu },{\mathbf{\Lambda }}^{-1})\text{\hspace{1em}(2.57)}$$

$$p(\mathbf{y}|\mathbf{x})=\mathcal{N}(\mathbf{y}|\mathbf{A}\mathbf{x}+\mathbf{b},{\mathbf{L}}^{-1})\text{\hspace{1em}(2.58)}$$

其中，$\mathbf{\mu }$ ， $\mathbf{A}$ 和 $\mathbf{b}$ 是控制均值的参数，$\mathbf{\Lambda }$ 和 $\mathbf{L}$ 是精度矩阵。如果 $\mathbf{x}$ 的维度为 $M$ ，$\mathbf{y}$ 的维度为 $D$，那么矩阵 $A$ 的⼤⼩为 $D\times M$ 。

⾸先，我们寻找 $\mathbf{x}$ 和 $\mathbf{y}$ 的联合分布的表达式。令
$$\mathbf{z}=\left(\genfrac{}{}{0ex}{}{\mathbf{x}}{\mathbf{y}}\right)$$
然后考虑联合概率分布的对数：
$$\begin{array}{rl}\ln p(\mathbf{z})& =\ln p(\mathbf{x})+\ln p(\mathbf{y}|\mathbf{x})\\ & =-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T\Lambda (\mathbf{x}-\mathbf{\mu })\\ & -\frac{1}{2}(\mathbf{y}-\mathbf{A}\mathbf{x}-\mathbf{b}{)}^T\mathbf{L}(\mathbf{y}-\mathbf{A}\mathbf{x}-\mathbf{b})+常数\end{array}\text{\hspace{1em}(2.59)}$$
可以推导出，$\mathbf{z}$ 上的⾼斯分布的精度矩阵（协⽅差的逆矩阵）为：
$$\mathbf{R}=\left(\begin{array}{cc}\mathbf{\Lambda }+{\mathbf{A}}^{\mathbf{T}}\mathbf{L}\mathbf{A}& -{\mathbf{A}}^{\mathbf{T}}\mathbf{L}\\ -\mathbf{L}\mathbf{A}& \mathbf{L}\end{array}\right)$$
从而，$\mathbf{z}$ 上的⾼斯分布的均值和协⽅差的表达式：
$$\text{cov}[\mathbf{z}]={\mathbf{R}}^{-1}=\left(\begin{array}{cc}{\mathbf{\Lambda }}^{-1}& {\mathbf{\Lambda }}^{-1}{\mathbf{A}}^{\mathbf{T}}\\ \mathbf{A}{\mathbf{\Lambda }}^{-1}& {\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^{\mathbf{T}}\end{array}\right)\text{\hspace{1em}(2.60)}$$

$$\mathbb{E}[\mathbf{z}]={\mathbf{R}}^{-1}\left(\genfrac{}{}{0ex}{}{\mathbf{\Lambda }\mathbf{\mu }-{\mathbf{A}}^{\mathbf{T}}\mathbf{L}\mathbf{b}}{\mathbf{L}\mathbf{b}}\right)\text{\hspace{1em}(2.61)}$$

$$\mathbb{E}[\mathbf{z}]=\left(\genfrac{}{}{0ex}{}{\mathbf{\mu }}{\mathbf{A}\mathbf{\mu }+\mathbf{b}}\right)\text{\hspace{1em}(2.62)}$$

边缘分布 $p(\mathbf{y})$ 的均值和协⽅差为：
$$\mathbb{E}[\mathbf{y}]=\mathbf{A}\mathbf{\mu }+\mathbf{b}\text{\hspace{1em}(2.63)}$$

$$\text{cov}[\mathbf{y}]={\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^{\mathbf{T}}\text{\hspace{1em}(2.64)}$$

条件分布 $p(\mathbf{x}|\mathbf{y})$ 的均值和协⽅差为：
$$\mathbb{E}[\mathbf{x}|\mathbf{y}]=(\mathbf{\Lambda }+{\mathbf{A}}^{\mathbf{T}}\mathbf{L}\mathbf{A}{)}^{-1}\{{\mathbf{A}}^{\mathbf{T}}\mathbf{L}(\mathbf{y}-\mathbf{b})+\mathbf{\Lambda }\mathbf{\mu }\}\text{\hspace{1em}(2.65)}$$

$$\text{cov}[\mathbf{x}|\mathbf{y}]=(\mathbf{\Lambda }+{\mathbf{A}}^{\mathbf{T}}\mathbf{L}\mathbf{A}{)}^{-1}\text{\hspace{1em}(2.66)}$$

五，⾼斯分布的最⼤似然估计

给定⼀个数据集 $\mathbf{X}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_N{)}^T$ ， 其中观测 $\{{\mathbf{x}}_n\}$ 假定是独⽴地从多元⾼斯分布中抽取的。我们可以使⽤最⼤似然法估计分布的参数。对数似然函数为：
$$\ln p(\mathbf{X}|\mathbf{\mu },\mathbf{\Sigma })=-\frac{ND}{2}\ln (2\pi )-\frac{N}{2}\ln |\mathbf{\Sigma }|-\frac{1}{2}\sum _{n=1}^N({\mathbf{x}}_{\mathbf{n}}-\mathbf{\mu }{)}^{\mathbf{T}}{\mathbf{\Sigma }}^{-1}({\mathbf{x}}_{\mathbf{n}}-\mathbf{\mu })\text{\hspace{1em}(2.67)}$$
令对数似然函数关于 $\mu$ 的导数为零，可以求得均值的最大似然估计：
$${\mathbf{\mu }}_{ML}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n\text{\hspace{1em}(2.68)}$$
方差的最大似然估计：
$${\mathbf{\Sigma }}_{ML}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T\text{\hspace{1em}(2.69)}$$
从而，
$$\mathbb{E}[{\mathbf{\mu }}_{ML}]=\mathbf{\mu }\text{\hspace{1em}(2.70)}$$

$$\mathbb{E}[{\mathbf{\Sigma }}_{ML}]=\frac{N-1}{N}\mathbf{\Sigma }\text{\hspace{1em}(2.71)}$$

$${\tilde{\mathbf{\Sigma }}}_{ML}=\frac{1}{N}\sum _{n=1}^{N-1}({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T\text{\hspace{1em}(2.72)}$$

六，顺序估计

考虑公式(2.68)给出的均值的最⼤似然估计结果 ${\mathbf{\mu }}_{ML}$ 。 当它依赖于第 $N$ 次观察时， 将记作 ${\mathbf{\mu }}_{ML}^{(N)}$ 。如果想分析最后⼀个数据点 ${\mathbf{x}}_N$ 的贡献，即有：
$$\begin{array}{rl}{\mathbf{\mu }}_{ML}^{(N)}& =\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n\\ & =\frac{1}{N}{\mathbf{x}}_N+\frac{1}{N}\sum _{n=1}^{N-1}{\mathbf{x}}_n\\ & =\frac{1}{N}{\mathbf{x}}_N+\frac{N-1}{N}{\mathbf{\mu }}_{ML}^{(N-1)}\\ & ={\mathbf{\mu }}_{ML}^{(N-1)}+\frac{1}{N}({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}^{(N-1)})\end{array}\text{\hspace{1em}(2.73)}$$
考虑⼀对随机变量 $\theta$ 和 $z$ ， 它们由⼀个联合概率分布 $p(z,\theta )$ 所控制。已知 $\theta$ 的条件下， $z$ 的条件期望定义了⼀个确定的函数 $f(\theta )$ ，叫回归函数，形式如下：
$$f(\theta )\equiv \mathbb{E}[z|\theta ]=\int zp(z|\theta )\mathrm{d}z\text{\hspace{1em}(2.74)}$$
如图2.15，回归函数 $f(\theta )$ 。

⽬标是寻找根 ${\theta }^{\ast }$ 使得 $f({\theta }^{\ast })=0$。 如果有观测 $z$ 和 $\theta$ 的⼀个⼤数据集， 那么可以直接对回归函数建模， 得到根的⼀个估计。 但是假设每次观测到⼀个 $z$ 的值， 我们想找到⼀个对应的顺序估计⽅法来找到 ${\theta }^{\ast }$ 。 下⾯的解决这种问题的通⽤步骤由 Robbins and Monro（1951）给出。假定 $z$ 的条件⽅差是有穷的，即：
$$\mathbb{E}[(z-f{)}^2|\theta ]<\infty$$
并且不失⼀般性， 我们也假设当 $\theta >{\theta }^{\ast }$ 时 $f(\theta )>0$， 当 $\theta <{\theta }^{\ast }$ 时 $f(\theta )<0$，Robbins-Monro 的⽅法定义了⼀个根 ${\theta }^{\ast }$ 的顺序估计的序列，由公式(2.75)给出。
$${\theta }^{(N)}={\theta }^{(N-1)}+{\alpha }_{N-1}z({\theta }^{(N-1)})\text{\hspace{1em}(2.75)}$$
其中 $z({\theta }^{(N)})$ 是当 $\theta$ 的取值为 $\theta (N)$ 时 $z$ 的观测值。系数 $\{{\alpha }_N\}$ 表⽰⼀个满⾜下列条件的正数序列：
$$\underset{N\to \infty }{\lim }{\alpha }_N=0$$

$$\sum _{N=1}^{\infty }{\alpha }_N=\infty$$

$$\sum _{N=1}^{\infty }{\alpha }_N^2<\infty$$

根据定义，最⼤似然解 ${\theta }_{ML}$ 是负对数似然函数的⼀个驻点，因此满⾜：
$${\frac{\partial }{\partial \theta }\left\{\frac{1}{N}\sum _{n=1}^N-\ln p(x_N|\theta )\right\}|}_{{\theta }_{ML}}=0\text{\hspace{1em}(2.76)}$$
交换导数与求和，取极限 $N\to \infty$ ，可以寻找最⼤似然解对应于寻找回归函数的根。 于是可以应⽤ Robbins-Monro⽅法，此时它的形式为：
$${\theta }^{(N)}={\theta }^{(N-1)}+{\alpha }_{N-1}\frac{\partial }{\partial {\theta }^{(N-1)}}\left[-\ln p(x_N|{\theta }^{(N-1)})\right]\text{\hspace{1em}(2.77)}$$

七，⾼斯分布的贝叶斯推断

考虑⼀个⼀元⾼斯随机变量 $\mathbf{x}$，我们假设⽅差 ${\sigma }^2$ 是已知的，其任务是从⼀组 $N$ 次观测 $\mathbf{x}=(x_1,\dots ,x_N{)}^T$ 中推断均值 $\mu$。 似然函数，即给定 $\mu$ 的情况下，观测数据集出现的概率。它可以看成 $\mu$ 的函数，由公式(2.78)给出。
$$p(\mathbf{x}|\mu )=\prod _{n=1}^{N}p(x_n|\mu )=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{\frac{N}{2}}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=1}^N(x_n-\mu {)}^2\right\}\text{\hspace{1em}(2.78)}$$
注意：似然函数 $p(\mathbf{x}|\mu )$ 不是 $\mu$ 的概率密度，没有被归⼀化。

如图2.16，在⾼斯分布的情形中，回归函数的形式。

令先验概率分布为：
$$p(\mu )=\mathcal{N}\left(\mu |{\mu }_0,{\sigma }_0^2\right)\text{\hspace{1em}(2.79)}$$
从⽽后验概率为：
$$p(\mu |\mathbf{x})=\mathcal{N}\left(\mu |{\mu }_N,{\sigma }_N^2\right)\text{\hspace{1em}(2.80)}$$
其中，
$${\mu }_N=\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0+\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_{ML}$$

$$\frac{1}{{\sigma }_N^2}=\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}$$

$${\mu }_{ML}=\frac{1}{N}\sum _{n=1}^N{x}_n$$

图2.17，⾼斯分布均值的贝叶斯推断。

现在假设均值是已知的，我们要推断⽅差。令 $\lambda \equiv \frac{1}{{\sigma }^2}$ ，$\lambda$ 的似然函数的形式为：

$$p(\mathbf{x}|\lambda )=\prod _{n=1}^N\mathcal{N}(x_n|\mu ,{\lambda }^{-1})\propto {\lambda }^{\frac{N}{2}}\exp \left\{-\frac{\lambda }{2}\sum _{n=1}^N(x_n-\mu {)}^2\right\}\text{\hspace{1em}(2.81)}$$
对应的共轭先验因此应该正⽐于 $\lambda$ 的幂指数，也正⽐于 $\lambda$ 的线性函数的指数。这对应于 Gamma分布，定义为：
$$\text{Gam}(\lambda |a,b)=\frac{1}{\Gamma (a)}{b}^a{\lambda }^{a-1}\exp (-b\lambda )\text{\hspace{1em}(2.82)}$$
均值和协⽅差分别为：
$$\mathbb{E}[\lambda ]=\frac{a}{b}\text{\hspace{1em}(2.83)}$$

$$\text{var}[\lambda ]=\frac{a}{b^2}\text{\hspace{1em}(2.84)}$$

如图2.18～2.20，不同的 $a$ 和 $b$ 的情况下 Gamma分布的图像。



考虑⼀个先验分布 $\text{Gam}(\lambda |a_0,b_0)$。如果乘以公式(2.81)给出的似然函数，那么即可得到后验分布：
$$p(\lambda |\mathbf{x})\propto {\lambda }^{a_0-1}{\lambda }^{\frac{N}{2}}\exp \left\{-b_0\lambda -\frac{\lambda }{2}\sum _{n=1}^N(x_n-\mu {)}^2\right\}\text{\hspace{1em}(2.85)}$$
我们可以把它看成形式为 $\text{Gam}(\lambda |a_N,b_N)$ 的 Gamma分布，其中
$$a_N=a_0+\frac{N}{2}$$

$$b_N=b_0\frac{1}{2}\sum _{n=1}^N(x_n-\mu {)}^2=b_0+\frac{N}{2}{\sigma }_{ML}^2$$

现在假设均值和精度都是未知的。为了找到共轭先验，考虑似然函数对于 $\mu$ 和 $\lambda$ 的依赖关系：
$$\begin{array}{rl}p(\mathbf{x}|\mu ,\lambda )& =\prod _{n=1}^N{\left(\frac{\lambda }{2\pi }\right)}^{\frac{1}{2}}\exp \left\{-\frac{\lambda }{2}(x_n-\mu {)}^2\right\}\\ & \propto {\left[{\lambda }^{\frac{1}{2}}\exp \left(-\frac{\lambda {\mu }^2}{2}\right)\right]}^N\exp \left\{\lambda \mu \sum _{n=1}^N{x}_n-\frac{\lambda }{2}\sum _{n=1}^N{x}_n^2\right\}\end{array}\text{\hspace{1em}(2.86)}$$
假设先验分布的形式为：
$$\begin{array}{rl}p(\mu ,\lambda )& =\exp \left\{-\frac{\beta \lambda }{2}{\left(\mu -\frac{c}{\beta }\right)}^2\right\}{\lambda }^{\frac{\beta }{2}}\exp \left\{-\left(d-\frac{c^2}{2\beta }\right)\lambda \right\}\\ & \propto {\left[{\lambda }^{\frac{1}{2}}\exp \left(-\frac{\lambda {\mu }^2}{2}\right)\right]}^{\beta }\exp \left\{c\lambda \mu -d\lambda \right\}\end{array}\text{\hspace{1em}(2.87)}$$
其 中 $c,d$ 和 $\beta$ 都是常数。

归⼀化的先验概率的形式为：
$$p(\mu ,\lambda )=\mathcal{N}(\mu |{\mu }_0,(\beta \lambda {)}^{-1})\text{Gam}(\lambda |a,b)\text{\hspace{1em}(2.88)}$$
这被称为正态-Gamma分布或者⾼斯-Gamma分布。如图2.21：

对于 $D$ 维向量 $\mathbf{x}$ 的多元⾼斯分布 $\mathcal{N}({\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda }}^{-1})$，假设精度已知，则均值 $\mathbf{\mu }$ 的共轭先验分布仍然是⾼斯分布。对于已知均值未知精度矩阵 $\mathbf{\Lambda }$ 的情形，共轭先验是**Wishart分布**，定义为：
$$\mathcal{W}(\mathbf{\Lambda }|\mathbf{W},\nu )=B|\mathbf{\Lambda }{|}^{\frac{\nu -D-1}{2}}\exp \left(-\frac{1}{2}\mathrm{Tr}\left({\mathbf{W}}^{-1}\mathbf{\Lambda }\right)\right)\text{\hspace{1em}(2.89)}$$

其中 $\nu$ 被称为分布的⾃由度数量(degrees of freedom)，$\mathbf{W}$ 是⼀个 $D\times D$ 的标量矩阵，$\mathrm{Tr}(\cdot )$ 表⽰矩阵的迹。归⼀化系数 $B$ 为：
$$B(\mathbf{W},\nu )=|\mathbf{W}{|}^{-\frac{\nu }{2}}{\left(2^{\frac{\nu D}{2}}{\pi }^{\frac{D(D-1)}{4}}\prod _{i=1}^D\Gamma \left(\frac{\nu +1-i}{2}\right)\right)}^{-1}\text{\hspace{1em}(2.90)}$$
如果均值和精度都是未知的，那么类似于⼀元变量的推理⽅法，共轭先验为：
$$p({\mathbf{\mu },\mathbf{\Lambda }|\mathbf{\mu }}_0,\beta ,\mathbf{W},\nu )=\mathcal{N}({\mathbf{\mu }|\mathbf{\mu }}_0,(\beta \mathbf{\Lambda }{)}^{-1})\mathcal{W}(\mathbf{\Lambda }|\mathbf{W},\nu )\text{\hspace{1em}(2.91)}$$
这被称为正态-Wishart分布或者⾼斯-Wishart分布。

八，学生 $\mathbf{t}$ 分布

如果有⼀个⼀元⾼斯分布 $\mathcal{N}\left(x|\mu ,{\tau }^{-1}\right)$ 和⼀个 Gamma先验分布 $\text{Gam}(\tau |a,b)$，把精度积分出来，便可以得到 $x$ 的边缘分布，形式为：
$$\begin{array}{rl}p(x|\mu ,a,b)& ={\int }_0^{\infty }\mathcal{N}\left(x|\mu ,{\tau }^{-1}\right)\mathrm{Gam}(\tau |a,b)\mathrm{d}\tau \\ & ={\int }_0^{\infty }\frac{b^a{e}^{(-br)}{\tau }^{a-1}}{\Gamma (a)}{\left(\frac{\tau }{2\pi }\right)}^{\frac{1}{2}}\exp \left\{-\frac{\tau }{2}(x-\mu {)}^2\right\}\mathrm{d}\tau \\ & =\frac{b^a}{\Gamma (a)}{\left(\frac{1}{2\pi }\right)}^{\frac{1}{2}}{\left[b+\frac{(x-\mu {)}^2}{2}\right]}^{-a-\frac{1}{2}}\Gamma \left(a+\frac{1}{2}\right)\end{array}\text{\hspace{1em}(2.92)}$$
形如 $p(x|\mu a,b)$ 如下：
$$\text{St}(x|\mu ,\lambda ,\nu )=\frac{\Gamma (\frac{\nu }{2}+\frac{1}{2})}{\Gamma (\frac{\nu }{2})}{\left(\frac{\lambda }{\pi \nu }\right)}^{\frac{1}{2}}{\left[1+\frac{\lambda (x-\mu {)}^2}{\nu }\right]}^{-\frac{\nu }{2}-\frac{1}{2}}\text{\hspace{1em}(2.93)}$$
称为学生 t 分布（Student's t-distribution）。 参数 $\lambda$ 有时被称为 $\mathbf{t}$ 分布的精度（precision）， 即使它通常不等于⽅差的倒数。参数 $\nu$ 被称为⾃由度（degrees of freedom）。如图2.22：

学生 $\mathbf{t}$ 分布的⼀个重要性质：鲁棒性（robustness），即对于数据集⾥的⼏个离群点outlier的出现，分布不会像⾼斯分布那样敏感。

图 2.23，从⼀个⾼斯分布中抽取的30个数据点的直⽅图，以及得到的最⼤似然拟合。红⾊曲线表⽰使⽤ $\mathbf{t}$ 分布进⾏的拟合，绿⾊曲线（⼤部分隐藏在了红⾊曲 线后⾯）表⽰使⽤⾼斯分布进⾏的拟合。由于 $\mathbf{t}$ 分布将⾼斯分布作为⼀种特例，因此它给出了与⾼斯分布⼏乎相同的解。

图 2.24，与图2.23同样的数据集，但是多了三个异常数据点。这幅图展⽰了⾼斯分布（绿⾊曲线）是如 何被异常点强烈地⼲扰的，⽽ $\mathbf{t}$ 分布（红⾊曲线）相对不受影响。

推⼴到多元⾼斯分布 $\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda })$ 来得到对应的多元学生 $\mathbf{t}$ 分布，形式为：
$$\mathrm{St}(\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda },\nu )={\int }_0^{\infty }\mathcal{N}\left(\mathbf{x}|\mathbf{\mu },(\eta \mathbf{\Lambda }{)}^{-1}\right)\mathrm{Gam}\left(\eta |\frac{\nu }{2},\frac{\nu }{2}\right)\mathrm{d}\nu \text{\hspace{1em}(2.94)}$$
求积分，可得：
$$\text{St}(\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda },,\nu )=\frac{\Gamma (\frac{\nu }{2}+\frac{D}{2})}{\Gamma (\frac{\nu }{2})}{\left(\frac{|\mathbf{\Lambda }|}{(\pi \nu {)}^D}\right)}^{\frac{1}{2}}{\left[1+\frac{{\Delta }^2}{\nu }\right]}^{-\frac{\nu }{2}-\frac{D}{2}}\text{\hspace{1em}(2.95)}$$
其中 $D$ 是 $\mathbf{x}$ 的维度，${\Delta }^2$ 是平⽅马⽒距离，定义为：
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^T\mathbf{\Lambda }(\mathbf{x}-\mathbf{\mu })\text{\hspace{1em}(2.96)}$$
多元变量形式的学生 $\mathbf{t}$ 分布，满⾜下⾯的性质：

1）$\mathbb{E}[\mathbf{x}]=\mathbf{\mu }$ 如果 $\nu >1$

2）$\text{cov}[\mathbf{x}]=\frac{\nu }{\nu -2}{\mathbf{\Lambda }}^{-1}$ 如果 $\nu >2$

3）$\text{mode}[\mathbf{x}]=\mathbf{\mu }$

九，周期变量

考察⼀个⼆维单位向量 ${\mathbf{x}}_1,\dots ,{\mathbf{x}}_N$ ， 其中 $||{\mathbf{x}}_n||=1$ 且 $n=1,\dots ,N$ ， 如图2.25所⽰。

可以对向量 $\{{\mathbf{x}}_n\}$ 求平均，可得
$$\bar{\mathbf{x}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$
注意，$\bar{\mathbf{x}}$ 通常位于单位圆的内部。

$\bar{\mathbf{x}}$ 对应的角度 $\bar{\theta }$ 为：
$$\bar{\theta }={\tan }^{-1}\left\{\frac{{\sum }_n\sin {\theta }_n}{{\sum }_n\cos {\theta }_n}\right\}\text{\hspace{1em}(2.97)}$$
考虑的周期概率分布 $p(\theta )$ 的周期为 $2\pi$ 。$\theta$ 上的任何概率密度 $p(\theta )$ ⼀定⾮负， 积分等于1，并且⼀定是周期性的。因此， $p(\theta )$ ⼀定满⾜下⾯三个条件：

1） $p(\theta )\ge 0$

2） ${\int }_0^{2\pi }p(\theta )\mathrm{d}\theta =1$

3） $p(\theta +2\pi )=p(\theta )$

考虑两个变量 $\mathbf{x}=(x_1,x_2)$ 的⾼斯分布，均值为 $\mathbf{\mu }=({\mu }_1,{\mu }_2)$，协⽅差矩阵为 $\mathbf{\Sigma }={\sigma }^2\mathbf{I}$ ，其中 $\mathbf{I}$ 是⼀个 $2\times 2$ 的单位矩阵。因此有：
$$p(x_1,x_2)=\frac{1}{2\pi {\sigma }^2}\exp \left\{-\frac{(x_1-{\mu }_1{)}^2+(x_2-{\mu }_2{)}^2}{2{\sigma }^2}\right\}\text{\hspace{1em}(2.98)}$$
von Mises分布(环形正态分布（circular normal））：在单位圆 $r=1$上的概率分布 $p(\theta )$ 的最终表达式：
$$p(\theta |{\theta }_0,m)=\frac{1}{2\pi I_0(m)}\exp \left\{m\cos (\theta -{\theta }_0)\right\}\text{\hspace{1em}(2.99)}$$
其中，参数 ${\theta }_0$ 对应于分布的均值，$m$ 被称为 concentration参数，类似于⾼斯分布的⽅差的倒数（精度）。归⼀化系数包含项 $I_0(m)$，是零阶修正的第⼀类Bessel函数（Abramowitz and Stegun, 1965）， 定义为：
$$I_0(m)=\frac{1}{2\pi }{\int }_0^{2\pi }\exp \{m\cos \theta \}\mathrm{d}\theta \text{\hspace{1em}(2.100)}$$
如图2.26～2.27，von Mises分布的图像。

如图2.28， Bessel函数 $I_0(m)$ 的图像。

现在考虑 von Mises分布 的参数 ${\theta }_0$ 和参数 $m$ 的最⼤似然估计。对数似然函数为：
$$\ln p(\mathcal{D}|{\theta }_0,m)=-N\ln (2\pi )-\ln I_0(m)+m\sum _{n=1}^N\cos ({\theta }_n-{\theta }_0)\text{\hspace{1em}(2.101)}$$
令其关于 ${\theta }_0$ 的导数等于零，从⽽可以得到：
$${\theta }_0^{ML}={\tan }^{-1}\left\{\frac{{\sum }_n\sin {\theta }_n}{{\sum }_n\cos {\theta }_n}\right\}\text{\hspace{1em}(2.102)}$$
关于 $m$ 最⼤化公式(2.101)，使⽤ $I_0^{\prime }(m)=I_1(m)$（Abramowitz and Stegun, 1965），从⽽可以得到：
$$A(m_{NL})=\frac{1}{N}\sum _{n=1}^N\cos ({\theta }_n-{\theta }_0^{ML})\text{\hspace{1em}(2.103)}$$
令
$$A(m)=\frac{I_1(m)}{I_0(m)}$$
可以得到：
$$A(m_{ML})=\left(\frac{1}{N}\sum _{n=1}^N\cos {\theta }_n\right)\cos {\theta }_0^{ML}+\left(\frac{1}{N}\sum _{n=1}^N\sin {\theta }_n\right)\sin {\theta }_0^{ML}\text{\hspace{1em}(2.104)}$$

如图2.29， 函数 $A(m)$ 的图像。

十，混合高斯模型

通过将更基本的概率分布（例如⾼斯分布）进⾏线性组合的这样的叠加⽅法，可以被形式化为概率模型，被称为混合模型（mixture distributions）（McLachlan and Basford, 1988; McLachlan and Peel, 2000）。

考虑 $K$ 个⾼斯概率密度的叠加，形式为：
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_k)\text{\hspace{1em}(2.105)}$$
这被称为混合⾼斯（mixture of Gaussians）。 每⼀个⾼斯概率密度 $\mathcal{N}(\mathbf{x}|{\mathbf{\mu }}_{\mathbf{k}},{\mathbf{\Sigma }}_k)$ 被称为混合分布的⼀个成分（component），并且有⾃⼰的均值 ${\mathbf{\mu }}_{\mathbf{k}}$ 和协⽅差 ${\mathbf{\Sigma }}_k$。参数 ${\pi }_k$ 被称为混合系数（mixing coefficients），并且满足以下条件：

1）${\sum }_{k=1}^K{\pi }_k=1$
2）$0\le {\pi }_k\le 1$

如图2.30，每个混合分量的常数概率密度轮廓线，其中三个分量分别被标记为红⾊、蓝⾊和绿⾊， 且混合系数的值在每个分量的下⽅给出。

如图2.31， 混合分布的边缘概率密度 $p(\mathbf{x})$ 的轮廓线。

如图2.32， 概率分布 $p(\mathbf{x})$ 的⼀个曲⾯图。