计算机视觉——机器学习

绪论
  计算机视觉旨在从图像中提取有用的信息。受可视数据复杂性的影响，这是一个极具挑战性的任务。广义理解的计算机视觉领域已经取得显著进步，随着人们日益增长的认识，计算机视觉的未来是令人激动的。

一、概率论
  几乎所有的计算机视觉模型可以在概率范围内解释，其形式上较为复杂，但可以阐明复杂模型之间的关系。

1.1 概率论基础
  随机变量$x$表示一个不确定的值，其可以是离散的或者连续的。离散变量的概率分布可以可视化为一个直方图，而连续变量的概率分布可以通过概率密度函数【Probability Density Function，PDF】来可视化。
  设两个随机变量$x$和$y$，若观察$x$和$y$的多个成对实例，结果中某些组合出现的较为频繁，可以用$x$和$y$的联合概率分布表示，记为$P(x,y)$。一般来说，多元变量的联合概率分布更加令人感兴趣，可以使用$Pr(\mathbf{x})$表示多维元素$\mathbf{x}=(x_1,x_2,...,x_k{)}^T$的联合概率。
  任意单变量的概率分布都可以在联合概率分布上求其他变量的和或积分得到，典型的，对于连续的二维随机变量$x$与$y$，有$$P(x)=\int P(x,y)dy$$得到$x$的边缘分布，其可以简单的解释为忽略其他变量的值。如果从变量$x$不能获得$y$的任何信息，则称两个变量独立。
  变量$x$在$y$取固定值$y^{\ast }$是$x$的相对概率的取值，是$y$取$y^{\ast }$时$x$的条件概率，记为$P(x|y=y^{\ast })$，其计算数值为$$P(x|y=y^{\ast })=\frac{P(x,y=y^{\ast })}{P(y=y^{\ast })}$$通常情况下不会显示的定义$y$，可以简写为$$P(x|y)=P(x,y)/P(y)$$当有两个以上的变量时，可以不断用条件概率分布将联合概率分布分解：$$P(w,x,y,z)=P(w|x,y,z)P(x|y,z)P(y|z)P(z)$$结合条件概率的公式，可以得到$P(x|y)$与$P(y|x)$的关系，有$$P(y|x)P(x)=P(x|y)P(y)=P(x,y)$$整理可以得到$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}$$称为贝叶斯公式。其中，$P(y|x)$称为后验概率，以代表给定$x$下$y$的概率；而$P(y)$称为先验概率，表示不考虑$x$下$y$的概率。$P(x|y)$称为似然性，而$P(x)$是证据。
  其他相关概率论术语参见概率论与数理统计。

1.2 伯努利分布
  伯努利【Bernoulli】分布是二项实验的离散分布模型，其描述的情况只可能有两种结果$x\in \{0,1\}$。计算机视觉中，伯努利分布可以模拟数据，如描述一个像素所取灰度值大于或小于128的概率，这被称为二值化。其有一个参数$p\in [0,1]$，定义成功，即$x=1$的概率，有$$\begin{array}{rl}& P(x=0)=1-p\\ & P(x=1)=p\end{array}$$或$$P(x;p)=p^x(1-p{)}^{1-x}$$以及$$P(x;p)=B(x;p)$$ 
  贝塔分布是由单变量$x$定义的连续分布，$x\in [0,1]$，其适合表示伯努利分布中参数$p$的不确定性。贝塔分布有两个参数$\alpha ,\beta \in [0,+\infty )$，其概率分布形式为$$P(x;\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$其中，$\Gamma (\cdot )$是伽马函数，定义为$$\Gamma (z)={\int }_0^{+\infty }{t}^{z-1}{e}^{-t}dt$$且有性质$\Gamma (z)=(z-1)!$。贝塔分布可以简写为$$P(x;\alpha ,\beta )=Beta(x;\alpha ,\beta )$$ 
1.3 分类分布
  分类分布是一个离散分布，观察多个可能结果的概率。在计算机视觉中，一个像素的亮度数值通常被量化为离散数值，可以用分类分布对其建模。观察$K$种可能结果的概率可以写为参数向量$\mathbf{p}=[p_1,p_2,...,p_k]$，且$p_i\in [0,1]$，${\sum }_{k=1}^K{p}_k=1$，其有形式$$P(x=k)=p_k$$可以简记为$$P(x;\mathbf{p})=Cat(x;\mathbf{p})$$ 
  迪利克雷【Dirichlet】分布定义在$K$个连续值$x_1,...,x_k$上，其中$x_k\in [0,1]$且$\sum x_k=1$。其适合定义分类分布中参数$p$的分布。
  在$K$维空间中，迪利克雷分布有$K$个参数$a_1,...,a_k$，每个参数取正值，参数的相对值决定了参数的期望$Ex$，参数的绝对值决定了期望两侧的集中程度，其有形式$$P(\mathbf{x};\mathbf{a})=\frac{\Gamma (\sum a_k)}{\prod \Gamma (a_k)}\prod x_k^{a_k-1}$$可以简记为$$P(\mathbf{x};\mathbf{a})=Dir(\mathbf{x};\mathbf{a})$$贝塔分布是一个二维的特殊迪利克雷分布，因为伯努利分布是二维的分类分布。

1.4 高斯分布
  高斯【Gauss】分布或称为正态分布由一个连续值$x\in R$定义。在视觉领域中，通常可以忽略像素的灰度值是量化的这个事实，并使用高斯分布对其建模。高斯分布有两个参数：均值$\mu$与方差${\sigma }^2$，$\mu$决定了峰值的位置，而${\sigma }^2$决定了分布的宽度，其定义为$$P(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp[-\frac{(x-\mu {)}^2}{2{\sigma }^2}]$$或简写为$$P(x;\mu ,{\sigma }^2)=N(x;\mu ,{\sigma }^2)$$当高斯分布由$D$维变量$\mathbf{x}$决定时，就形成了多元高斯分布，其参数为均值$\mathbf{\mu }$与协方差$\mathbf{\Sigma }$，其中${\mathbf{\mu }}_{D\times 1}$描述了分布的均值，而${\mathbf{\Sigma }}_{D\times D}$是正定矩阵，其形式为$$P(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}exp[-(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })/2]$$或简写为$$P(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })$$ 
  正态逆伽马分布由均值$\mu$与方差$\sigma$定义，用于定义高斯分布的参数的分布，具有四个参数$\alpha ,\beta ,\gamma ,\delta$，其表达式为$$P(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )=\frac{\sqrt{\gamma }}{\sigma \sqrt{2\pi }}\frac{{\beta }^{\alpha }}{\Gamma (\alpha )}(\frac{1}{{\sigma }^2}{)}^{\alpha +1}exp[-\frac{2\beta +\gamma (\delta -\mu {)}^2}{2{\sigma }^2}]$$或简写为$$P(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )=NIG(\mu ,\sigma ;\alpha ,\beta ,\gamma ,\delta )$$相似的，正态逆维希特分布用于描述多元高斯分布的参数分布。

1.5 共轭性
  贝塔分布可以表征伯努利分布中参数的概率，相似的，迪利克雷分布表征分类分布中参数的概率，同样的类比关系还有正太逆伽马分布与高斯分布、正态逆维希特分布与多元高斯分布之间。这种关系称前一个分布是后一个的共轭，当一个分布与其共轭分布取积时，会正比于一个新的分布，且与该分布的共轭分布形式相同，例如$$B(x;p)Beta(p;\alpha ,\beta )=k(x,\alpha ,\beta )Beta(p;{\alpha }^{\ast },{\beta }^{\ast })$$这是易于证明的：$$\begin{array}{rl}B(x;p)Beta(p;\alpha ,\beta )& =p^x(1-p{)}^{1-x}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{\alpha -1}(1-p{)}^{\beta -1}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{p}^{x+\alpha -1}(1-p{)}^{1-x+\beta -1}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\frac{\Gamma (x+\alpha )\Gamma (1-x+\beta )}{\Gamma (x+\alpha +1-x+\beta )}Beta(x+\alpha ,1-x+\beta )\\ & =k(x,\alpha ,\beta )Beta({\alpha }^{\ast },{\beta }^{\ast })\end{array}$$其中$$k=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}\frac{\Gamma (x+\alpha )\Gamma (1-x+\beta )}{\Gamma (x+\alpha +1-x+\beta )}$$在拟合分布和评估模型时常用到分布的积，而共轭关系提供了积的封闭性。

---

二、拟合概率模型
  对于数据的拟合概率模型，由于拟合时需要学习模型的参数，因此这一过程称为学习，而讨论新数据在模型下的概率分布，称为评估预测分布。

2.1 最大似然法
  最大似然法用来求数据$\{\mathbf{x}\}=\{{\mathbf{x}}_1,...,{\mathbf{x}}_I\}$最有可能的参数集合$\hat{\mathbf{\theta }}$。对于数据点${\mathbf{x}}_i$，其似然函数$P({\mathbf{x}}_i|\mathbf{\theta })$只需要估算${\mathbf{x}}_i$的概率密度函数；而对于数据的似然函数$P(\mathbf{x}|\mathbf{\theta })$，通常假设数据点是从分布中独立抽样，那么数据的似然函数是数据点的独立似然的积。那么参数的最大似然估计是$$\begin{array}{rl}\hat{\mathbf{\theta }}& =argma{x}_{\mathbf{\theta }}P(\mathbf{x}|\mathbf{\theta })\\ & =argma{x}_{\mathbf{\theta }}\prod P({\mathbf{x}}_i|\theta )\end{array}$$为了估算新数据点${\mathbf{x}}^{\ast }$的概率分布，简单估算$P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})$即可。

  考虑一个高斯分布$N(1,1)$产生的$I$个拟合标量数据$\{x\}=\{x_1,...,x_I\}$重新拟合参数的例子，其似然函数通过高斯概率密度函数的积得到：$$\begin{array}{rl}P(x|\mu ,{\sigma }^2)& =\prod P(x_i|\mu ,{\sigma }^2)\\ & =\prod N(x_i;\mu ,{\sigma }^2)\\ & =\frac{1}{(\sqrt{2\pi {\sigma }^2}{)}^I}exp[-\sum \frac{(x_i-\mu {)}^2}{2{\sigma }^2}]\end{array}$$原则上可以对上式求导赋零使其最大化，但实际上作为结果的等式会很杂乱，但引入单调的似然对数$L$可以使得函数最值位置不变的情况下解耦各数据点的贡献。那么有$$\begin{array}{rl}\hat{\mu }& =argma{x}_{\mu }\sum logN(x_i;\mu ,{\sigma }^2)\\ & =argma{x}_{\mu }-\frac{1}{2}[log(2\pi )+Ilog({\sigma }^2)+\sum \frac{(x_i-\mu {)}^2}{{\sigma }^2}]\end{array}$$取最值只需令$$\partial L/\partial \mu =\sum \frac{x_i-\mu }{{\sigma }^2}=0$$整理可以得到均值的表达式$$\hat{\mu }=\sum x_i/I$$类似的，方差可以表示为$${\hat{\sigma }}^2=\sum (x_i-\hat{\mu }{)}^2/I$$此外，很多文献通过最小二乘法讨论拟合高斯分布的均值，事实上，高斯分布的均值的最大似然估计可以写成$$\begin{array}{rl}\hat{\mu }& =argma{x}_{\mu }-\frac{1}{2}[log(2\pi )+Ilog({\sigma }^2)+\sum \frac{(x_i-\mu {)}^2}{{\sigma }^2}]\\ & =argma{x}_{\mu }-\frac{1}{2}\sum (x_i-\mu {)}^2\\ & =argmi{n}_{\mu }\sum (x_i-\mu {)}^2\end{array}$$即最小二乘拟合和最大似然拟合一个高斯分布是等价的。

2.2 最大后验法
  最大后验法引入参数$\mathbf{\theta }$的先验信息，即先验也许会对可能的参数值提供一些信息，例如在时间序列中，前一时刻的参数值可能会提供后一时刻的参数可能值的信息，而这个信息可以从先验分布中得到。
  最大后验估计是最大化参数的后验概率$P(\mathbf{\theta }|\mathbf{x})$：$$\begin{array}{rl}\hat{\mathbf{\theta }}& =argma{x}_{\mathbf{\theta }}P(\mathbf{\theta }|\mathbf{x})\\ & =argma{x}_{\mathbf{\theta }}\frac{P(\mathbf{x}|\mathbf{\theta })P(\mathbf{\theta })}{P(\mathbf{x})}\\ & =argma{x}_{\mathbf{\theta }}\frac{[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })}{P(\mathbf{x})}\end{array}$$实际上，可以忽略对于参数而言是常数的$P(\mathbf{x})$，因为其不会影响最大值的位置，得到$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })$$其与最大似然估计相比，会发现除了先验部分外都相同，这是因为最大似然估计是最大后验估计在先验信息位置情况下的一个特例。
  为了估算新数据点${\mathbf{x}}^{\ast }$的概率分布，简单估算$P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})$即可。

  依然考虑高斯分布$N(1,1)$产生的$I$个拟合标量数据$\{x\}=\{x_1,...,x_I\}$重新拟合参数的例子，代价函数为$$\begin{array}{rl}\hat{\mu },{\hat{\sigma }}^2& =argma{x}_{\mu ,{\sigma }^2}[\prod P(x_i|\mu ,{\sigma }^2)]P(\mu ,{\sigma }^2)\\ & =argma{x}_{\mu ,{\sigma }^2}[\prod N(x_i;\mu ,\sigma )]NIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )\end{array}$$其与高斯分布共轭，且与最大似然估计一样，很容易最大化上述式的对数：$$\hat{\mu },{\hat{\sigma }}^2=argma{x}_{\mu ,{\sigma }^2}[\sum logN(x_i;\mu ,{\sigma }^2)+logNIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )]$$偏微分赋零，可以得到$$\partial L/\partial \mu =\frac{\sum (x_i-\mu )+\gamma (\delta -\mu )}{{\sigma }^2}$$可得$$\hat{\mu }=\frac{\sum x_i+\gamma \delta }{I+\gamma }$$类似的，方差可以表示为$${\hat{\sigma }}^2=\frac{\sum (x_i-\hat{\mu }{)}^2+2\beta +\gamma (\delta -\hat{\mu }{)}^2}{I+3+2\alpha }$$上述式给出了一些关于最大后验估计结果的思考，对于均值的估计，如果有大量的数据，那么$\sum x_i$起主要作用，$\hat{\mu }$与数据的均值更加接近；而相反的，如果根本没有数据，那么就完全根据先验值决定；而数据适中时，$\hat{\mu }$由数据预测与先验预测加权决定。

2.3 贝叶斯方法
  贝叶斯方法不试图估计参数$\mathbf{\theta }$的确定值，而是在数据上估计参数$\mathbf{\theta }$的概率分布$$P(\mathbf{\theta })=\frac{[\prod P({\mathbf{x}}_i|\mathbf{\theta })]P(\mathbf{\theta })}{P(\mathbf{x})}$$因为没有估算出参数的确定值，因此对于新数据点${\mathbf{x}}^{\ast }$的概率分布估算更加困难，需要计算$$P({\mathbf{x}}^{\ast }|\mathbf{x})=\int P({\mathbf{x}}^{\ast }|\mathbf{\theta })P(\mathbf{\theta }|\mathbf{x})d\mathbf{\theta }$$其中$P({\mathbf{x}}^{\ast }|\mathbf{\theta })$是给定值$\mathbf{\theta }$的预测，而积分是$\mathbf{\theta }$的不同参数值在其概率下的加权和。
  如果某个分布的最大似然估计和最大后验估计的参数均为$\hat{\mathbf{\theta }}$，那么可以将贝叶斯方法与其统一起来，形成中心在$\hat{\mathbf{\theta }}$的贝塔函数，令$\delta (z)$是冲激函数，那么有$$\begin{array}{rl}P({\mathbf{x}}^{\ast }|\mathbf{x})& =\int P({\mathbf{x}}^{\ast }|\mathbf{\theta })\delta (\hat{\mathbf{\theta }})d\mathbf{\theta }\\ & =P({\mathbf{x}}^{\ast }|\hat{\mathbf{\theta }})\end{array}$$这使得估算数据在估计参数模型下的概率有了统一的形式。

  依然考虑高斯分布$N(1,1)$产生的$I$个拟合标量数据$\{x\}=\{x_1,...,x_I\}$重新拟合参数的例子，根据贝叶斯公式，有$$\begin{array}{rl}P(\mu ,{\sigma }^2|x)& =\frac{[\prod P(x_i|\mu ,{\sigma }^2)]P(\mu ,{\sigma }^2)}{P(x)}\\ & =\frac{[\prod N(x_i;\mu ,{\sigma }^2)NIG(\mu ,{\sigma }^2;\alpha ,\beta ,\gamma ,\delta )]}{P(x)}\\ & =\frac{kNIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })}{P(x)}\end{array}$$其与高斯分布共轭，$k$是一个相关的常数，要注意到的是，$P(\mu ,{\sigma }^2|x)$是关于$\mu ,{\sigma }^2$的函数且积分为1，而$NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })$也是关于$\mu ,{\sigma }^2$的函数且积分也为1，那么常量$k$与$P(x)$必然有$k/P(x)=1$，即$$P(\mu ,{\sigma }^2|x)=NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })$$这也是共轭先验的优势：保证关于参数的后验分布是一个封闭的表达式。
  再来看对于新数据$x^{\ast }$的密度估计，有$$\begin{array}{rl}P(x^{\ast }|x)& =\iint P(x^{\ast }|\mu ,{\sigma }^2)P(\mu ,{\sigma }^2|x)d\mu d\sigma \\ & =\iint N(x^{\ast };\mu ,{\sigma }^2)NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =\iint k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })\iint NIV(\mu ,{\sigma }^2;{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })d\mu d\sigma \\ & =k(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast },{\gamma }^{\ast },{\delta }^{\ast })\end{array}$$这又体现了共轭的优势：积分可计算，且保持密度预测的封闭表达式。

---

三、视觉学习
  在视觉问题中，视觉数据$\mathbf{x}$用于推测全局状态$\mathbf{y}$，而$\mathbf{y}$可能是连续的，例如身体模型的三维姿态，其推理过程称为回归；或者离散的，例如物体的存在与否，其推理过程称为分类。
  遗憾的是，$\mathbf{x}$可能兼容多个全局状态$\mathbf{y}$，一方面，视觉的测量过程受噪声影响；另一方面，视觉数据本身具有多义性：例如一块煤在强光下和一张白纸在弱光下产生的亮度可能是一样的。
  为了解决视觉问题，需要三个要素：
  -模型，指定$\mathbf{x}$与$\mathbf{y}$之间可能的关系，并通过模型的参数$\mathbf{\theta }$来确定这一关系；
  -学习，利用成对的训练样本$(\mathbf{x},\mathbf{y})$来拟合参数$\mathbf{\theta }$，在这些样本中，需要同时知道测量值与基本状态；
  -推理，根据新的观测值$\mathbf{x}$，可以利用模型返回全局状态的后验概率$P(\mathbf{y}|\mathbf{x},\mathbf{\theta })$。

3.1 模型
  视觉问题的首要要素是模型。对于涉及数据$\mathbf{x}$和全局状态$\mathbf{y}$的模型都属于以下两种之一：
  -建立在数据上的全局状态可能性模型$P(\mathbf{y}|\mathbf{x})$，称为判别模型；
  -建立在全局状态上的数据可能性模型$P(\mathbf{x}|\mathbf{y})$，称为生成模型。

3.1.1 判别模型
  在判别模型中，为了建立模型$P(\mathbf{y}|\mathbf{x})$，需要选择在$\mathbf{y}$上分布的合适形式$P(\mathbf{y})$，并将分布的参数$\mathbf{\theta }$作为数据$\mathbf{x}$的参数。例如在连续的全局状态中，可以建立服从于高斯分布$N$的全局状态$P(\mathbf{y})$，并将均值$\mathbf{\mu }$作为数据$\mathbf{x}$的函数。
  学习的目标是利用成对的训练数据$(\mathbf{x},\mathbf{y})$拟合参数$\mathbf{\theta }$，这可以通过最大似然估计、最大后验估计或贝叶斯估计得到。
  推理的目标是对新的观测量$\mathbf{x}$求出可能的全局状态$\mathbf{y}$的一个分布，一个简单的方法就是使用已经为$P(\mathbf{y}|\mathbf{x})$构造的表达式进行估算。

3.1.2 生成模型
  在生成模型中，需要选择数据分布$P(\mathbf{x})$的形式，并将分布参数设为全局状态$\mathbf{y}$的一个函数，例如在离散的多值数据中，利用分类分布可以将参数向量$\mathbf{p}$设为全局状态$\mathbf{y}$的一个函数。
  学习的目标是利用成对的训练数据$(\mathbf{x},\mathbf{y})$拟合参数$\mathbf{\theta }$。
  推理的目标是计算后验分布$P(\mathbf{y}|\mathbf{x})$，为此，指定一个关于全局状态的先验$P(\mathbf{y})$并利用贝叶斯公式来获得$P(\mathbf{y}|\mathbf{x})$：$$P(\mathbf{y}|\mathbf{x})=\frac{P(\mathbf{x}|\mathbf{y})P(\mathbf{y})}{\int P(\mathbf{x}|\mathbf{y})P(\mathbf{y})d\mathbf{y}}$$

3.2 回归问题
  考虑一个简单的情形：构造一个一元连续测量值$x$并利用它来预测一元连续状态$y$，例如根据路上汽车的轨迹所包含像素的数目预测汽车的尺寸。

3.3.1 回归问题的判别模型
  在判别模型中，定义全局状态$y$的概率分布，并且设其参数与数据$x$有关，可以选择高斯分布，设置方差${\sigma }^2$并设均值$\mu =w_0+w_{1}x$，其中$\mathbf{\theta }=(w_0,w_1,{\sigma }^2)$，那么有$$P(y|x,\mathbf{\theta })=N(y;w_0+w_{1}x,{\sigma }^2)$$由于均值与数据呈线性关系，该模型也称为线性回归。
  学习算法从成对的训练数据$(x,y)$中估计模型参数$\mathbf{\theta }$，例如在最大后验估计中，有$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}[\prod P(y|x,\mathbf{\theta })]P(\mathbf{\theta })$$其中，假设$I$个训练数据互相独立，且有合适的先验$P(\mathbf{\theta })$。
  推理算法根据视觉数据$x$返回后验分布$P(y|x,\mathbf{\theta })$，只需要将数据$x$带入到学习到参数$\hat{\mathbf{\theta }}=({\hat{w}}_0,{\hat{w}}_1,{\hat{\sigma }}^2)$计算式中，即可得到后验分布$$P(y|x,\mathbf{\theta })=N(y;{\hat{w}}_0+{\hat{w}}_{1}x,{\hat{\sigma }}^2)$$
3.2.2 回归问题的生成模型
  在生成模型中，需要选择关于数据$x$的概率分布并使其参数视全局状态$y$而定。将数据建模为方差为${\sigma }^2$，均值为$\mu =w_0+w_{1}y$的高斯分布，那么有$$P(x|y,\mathbf{\theta })=N(x;w_0+w_{1}y,{\sigma }^2)$$以及关于全局状态的先验$P(y)$，其也可能是高斯分布，即$$P(y)=N(y;{\mu }_y,{\sigma }_y^2)$$  学习算法利用成对的训练数据$(x,y)$拟合参数$\mathbf{\theta }$，并用全局状态$y$拟合参数${\mathbf{\theta }}_y=({\mu }_y,{\sigma }_y^2)$。
  推理算法根据视觉数据$x$利用贝叶斯公式返回后验分布$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}=\frac{P(x,y)}{P(x)}$$

3.3 分类问题
  考虑一个简单的分类问题：考虑观测值$x$是一元连续的，但全局状态$y$是二值离散的，例如根据观测图像的红色通道来判定一个像素是属于皮肤区域还是非皮肤区域。

3.3.1 分类问题的判别模型
  在判别模型中。需要定义全局状态$y\in \{0,1\}$的一个概率分布，可以使用伯努利分布，并且参数$p$依数据$x$而定。由于要保证约束$p\in [0,1]$，如果建立线性函数$p=w_0+w_{1}x$，该函数的返回值值域为$(-\infty ,+\infty )$，需要定义一个函数将返回值的值域映射到$(0,1)$，定义$$P(y|x)=B(y;sigmoid(p))=B(y;\frac{1}{1+exp[-w_0-w_{1}x]})$$其中，$sigmoid(\cdot )$函数称为逻辑S型函数【Sigmoid】，该模型也称为逻辑回归。
  在学习中，使用成对训练数据$(x,y)$拟合参数$\mathbf{\theta }=(w_0,w_1)$，而在推理中，只需将观测数据值$x$代入$sigmoid(\hat{p}(x))$来获取状态的后验分布$P(y|x)$。

3.3.2 分类问题的生成模型
  在生成模型中，选择数据$x$的一个概率分布，使其参数依全局状态$y$而定。可以选择高斯分布，使得$$P(x|y,\mathbf{\theta })=N(x;\mu (y),\sigma (y))$$在实际情况下，$y\in \{0,1\}$，因此$$\begin{gathered} P(x|y=0)=N(x;{\mu }_0,{\sigma }_0^2) \\ P(x|y=1)=N(x;{\mu }_1,{\sigma }_1^2) \end{gathered}$$为每种类别数据的密度进行了建模，也称为类条件密度函数。同时，也需要定义全局状态的先验分布$$P(y)=B(y;p)$$其中$p$是全局状态$y=1$时的先验概率。
  在学习时，使用训练数据对$(x,y)$拟合参数$\mathbf{\theta }=({\mu }_0,{\mu }_1,{\sigma }_0^2,{\sigma }_1^2)$，通过训练全局状态$y$学习先验参数$p$；而推理算法利用数据$x$在贝叶斯公式下返回全局状态$y$的后验分布$$P(y|x)=\frac{P(x|y)P(y)}{P(x|y=0)P(y=0)+P(x|y=1)P(y=1)}$$

3.4 应用：背景差分
  背景差分技术是很多视觉系统中常见的第一步，因为它可以快速的确定图像中感兴趣的区域。
  背景差分的目标是推理图像中某个元素是否是背景$y=0$或者前景目标有遮挡$y=1$，其依据是像素数据$\mathbf{x}$的RGB值。考虑使用生成分类模型解决该问题。
  训练数据$\mathbf{x}$通常包含大量的所有像素都属于背景的空场景，然而前景目标外观多变的训练样本并不典型。一般将背景的类条件分布建模为高斯分布$$P(\mathbf{x}|w=0)=N(\mathbf{x};{\mathbf{\mu }}_0,{\mathbf{\Sigma }}_0)$$而将前景类别建模为均匀分布$$P(\mathbf{x}|w=1)=\{\begin{array}{rlrl}& 1/255^3& & ,0<x_R,x_G,x_B<255\\ & 0& & ,others\end{array}$$并将先验建模为伯努利变量$$P(y)=B(y;p)$$并进行学习与推理。
  典型的，该方法经常存在一个问题：阴影经常误分类为前景，一个简单的补救方法是仅依靠色相和饱和度而忽略亮度来分类像素。
  在一些情况下，可能需要更复杂的分布来描述背景。例如对于室外场景，树随风摇摆，一部分叶子间歇地在其他叶子前面飘动，可能造成像素的双峰分布，而单峰的高斯分布无法很好的描述该数据，造成背景差分的效果很差。

---

四、复杂数据密度建模
  实际上，假设所有复杂的视觉数据都可以用高斯分布来表示是不太现实的，需要根据基础概率密度函数利用隐变量来构造复杂函数。

4.1 高斯分布模型
  考虑分类问题的生成模型，对数据$\mathbf{x}$的概率进行建模，并利用全局状态$y$进行参数化，利用多元高斯分布描述数据$$P(\mathbf{x}|y)=N(\mathbf{x};{\mathbf{\mu }}_y,{\mathbf{\Sigma }}_y)$$其描述了以全局状态$y$为条件的数据$\mathbf{x}$的密度。
  学习是从训练数据对$(\mathbf{x},y)$中估计参数$\mathbf{\theta }$，例如利用最大似然方法$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}\prod P(x|\mathbf{\theta })$$  推理是利用新的数据$\mathbf{x}$为之分配一个类$y$，为了实现这个目的，定义一个全局状态$P(y)=B(y;p)$的一个先验并应用贝叶斯公式$$P(y|\mathbf{x})=\frac{P(\mathbf{x}|y)P(y)}{P(\mathbf{x})}$$  然而，这种分类器的成功取决于利用高斯分布拟合数据，但是由于以下诸多原因，拟合的效果可能是较差的：
  -高斯分布是单峰的，而复杂的视觉数据无法利用单峰概率密度函数很好的表示；
  -高斯分布不是健壮的，单个异常样本会显著影响均值和方差的估计；
  -高斯分布的参数过多，对于高维的数据，整个协方差矩阵包含过多的参数，而训练数据过少的情况下，这些参数甚至无法唯一的确定。
为了解决上述问题，分别引入高斯混合模型、学生氏分布与子空间模型，并引入每个每个观测数据点${\mathbf{x}}_i$所对应的隐变量${\mathbf{h}}_i$，使最终的概率密度函数特性更加复杂。

4.2 隐变量
  为了对关于变量$\mathbf{x}$的复杂概率密度函数建模，将引入隐变量$\mathbf{h}$，其可能是离散的或连续的。
  为了充分利用隐变量，将最终密度$P(\mathbf{x})$描述为$\mathbf{x}$与$\mathbf{h}$的联合概率密度$P(\mathbf{w},\mathbf{h})$的边缘分布$$P(\mathbf{x})=\int P(\mathbf{x},\mathbf{h})d\mathbf{h}$$对于联合概率密度$P(\mathbf{x},\mathbf{h})$，可以选择对$\mathbf{h}$积分时相对简单，而且能够生成一系列表达性非独立的分布$P(\mathbf{x})$的模型。
  无论选取何种联合分布，都应该有一些参数$\mathbf{\theta }$，故可以表达成$$P(\mathbf{x}|\mathbf{\theta })=\int P(\mathbf{x},\mathbf{h}|\mathbf{\theta })d\mathbf{h}$$当使用最大似然估计拟合模型时，不会涉及隐变量，也可以使用暴力搜索非线性优化技术，在此不展开详述。还有一种方法：最大期望算法，其可以直接优化含隐变量的参数，形如$$\hat{\mathbf{\theta }}=argma{x}_{\mathbf{\theta }}\sum log[\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i]$$
4.3 期望最大化
  期望最大化【Expectation Maximization，EM】算法也称为最大期望算法，其目标是提供足够的信息，来利用该技术拟合模型。

4.3.1 似然函数的下界
  EM算法用来求模型参数$\mathbf{\theta }$的最大似然或最大后验估计，其中数据$\mathbf{x}$的似然可以表示成$$P(\mathbf{x}|\mathbf{\theta })=\sum _{\mathbf{k}}P(\mathbf{x},\mathbf{h}=\mathbf{k}|\mathbf{\theta })$$或$$P(\mathbf{x}|\mathbf{\theta })=\int P(\mathbf{x},\mathbf{h}|\mathbf{\theta })d\mathbf{h}$$即似然函数是数据和隐变量的联合概率分布的边缘概率。以连续隐变量为例，取对数似然，形如$$lnL(\mathbf{x}|\mathbf{\theta })=\sum _{i=1}^{I}log\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i$$EM算法依赖于对数似然函数的下界函数$B(\mathbf{\theta })=inflnL(\mathbf{x}|\mathbf{\theta })$，取$$B(q_i({\mathbf{h}}_i),\mathbf{\theta })=\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i$$根据琴生【Jensen】不等式，对于凹的对数函数，有$$E[log(y)]\le log(E[y])$$那么有$$\begin{array}{rl}B(q_i({\mathbf{h}}_i),\mathbf{\theta })& =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & \le \sum _{i=1}^{I}log\int q_i({\mathbf{h}}_i)\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}log\int P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i\\ & =lnL(\mathbf{x}|\mathbf{\theta })\end{array}$$可以看出，除了参数$\mathbf{\theta }$以外，下界$B(q_i({\mathbf{h}}_i),\mathbf{\theta })$还与一组关于隐变量$\mathbf{h}$的概率分布$q(\mathbf{h})$有关。当改变这些概率分布时，$B$的值也会改变，但始终不大于对数似然函数。
  EM算法同时改变参数$\mathbf{\theta }$与分布$q(\mathbf{h})$来提高下界$B$，其交替进行一下两种操作：
  -更新隐变量的概率分布$q(\mathbf{h})$来提高下界$B$，称为期望步；
  -更新参数$\mathbf{\theta }$来提高下界$B$，称为最大化步。

4.3.2 E步
  在E步，更新关于分布$q_i({\mathbf{h}}_i)$的界$B(q_i({\mathbf{h}}_i),\mathbf{\theta })$，其表达式可以写成$$\begin{array}{rl}B(q_i({\mathbf{h}}_i),\mathbf{\theta })& =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })P({\mathbf{x}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)[logP({\mathbf{x}}_i|\mathbf{\theta })-log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}]d{\mathbf{h}}_i\\ & =\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i|\mathbf{\theta })d{\mathbf{h}}_i-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}logP({\mathbf{x}}_i|\mathbf{\theta })\int q_i({\mathbf{h}}_i)d{\mathbf{h}}_i-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\\ & =\sum _{i=1}^{I}logP({\mathbf{x}}_i|\mathbf{\theta })-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i\end{array}$$其表达式的第一项是关于分布$q_i({\mathbf{h}}_i)$的定值，而为了对$q_i({\mathbf{h}}_i)$优化界，只需求$$\begin{array}{rl}\hat{q}({\mathbf{h}}_i)& =argma{x}_{q_i({\mathbf{h}}_i)}[-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{q_i({\mathbf{h}}_i)}{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}d{\mathbf{h}}_i]\\ & =argmi{n}_{q_i({\mathbf{h}}_i)}[-\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i]\end{array}$$该式称为分布$q_i({\mathbf{h}}_i)$与$P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })$之间的KL【Kullback-Leibler】散度，是概率分布之间的距离的度量。根据$log(x)\le x-1$可以证明，总是有$$\begin{array}{rl}\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i& \le \int q_i({\mathbf{h}}_i)(\frac{P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })}{q_i({\mathbf{h}}_i)}-1)d{\mathbf{h}}_i\\ & =\int P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })d{\mathbf{h}}_i-\int q_i({\mathbf{h}}_i)d{\mathbf{h}}_i\\ & =0\end{array}$$这表明当KL散度为0时，$B$取得最大值，有$$q_i({\mathbf{h}}_i)=P({\mathbf{h}}_i|{\mathbf{x}}_i,\mathbf{\theta })=\frac{P({\mathbf{x}}_i|{\mathbf{h}}_i,\mathbf{\theta })P({\mathbf{h}}_i)}{P({\mathbf{x}}_i)}$$即期望步是利用贝叶斯公式来计算每个隐变量的后验分布。

4.3.3 M步
  在M步，对关于参数$\mathbf{\theta }$的边界进行最大化，使得$$\begin{array}{rl}\mathbf{\theta }& =argma{x}_{\mathbf{\theta }}B(q_i({\mathbf{h}}_i),\mathbf{\theta })\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)log\frac{P({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })}{q_i({\mathbf{h}}_i)}d{\mathbf{h}}_i\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })-q_i({\mathbf{h}}_i)log{q}_i({\mathbf{h}}_i)d{\mathbf{h}}_i\\ & =argma{x}_{\mathbf{\theta }}\sum _{i=1}^I\int q_i({\mathbf{h}}_i)logP({\mathbf{x}}_i,{\mathbf{h}}_i|\mathbf{\theta })d{\mathbf{h}}_i\end{array}$$其中，省略的第二项与参数无关，不影响最大化的结果。

4.4 高斯混合模型
  高斯混合模型【Gaussian Mixture Model，GMM】是适合EM算法学习的一个原型。数据描述为$K$个高斯分布的加权和$$P(\mathbf{x}|\mathbf{\theta })=\sum _{k=1}^K{\lambda }_{k}N(\mathbf{x};{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$$其中$\lambda$是正数权重，且${\sum }_{k=1}^K\lambda =1$。高斯混合模型将简单成分分布联合起来描述多峰概率密度。
  为了能从训练数据$\mathbf{x}$中学习参数$\mathbf{\theta }=(\mathbf{\mu },\mathbf{\Sigma },\lambda )$，可以利用最简单的最大似然方法，但会无法得到简单闭式解；或非线性优化方法，但由于需要保证参数的约束，这也十分复杂。更简单的，可以将观测数据的密度函数作为边缘概率，并使用EM算法学习其参数。
  GMM可以看作观测到的数据$\mathbf{x}$和一个取值为$h\in \{1,...,K\}$的隐变量$\mathbf{h}$之间的联合分布的边缘概率，定义$$\begin{array}{rl}P(\mathbf{x}|h,\mathbf{\theta })& =N(x;{\mathbf{\mu }}_h,{\mathbf{\Sigma }}_h)\\ P(h|\mathbf{\theta })& =Cat(h;\mathbf{\lambda })\end{array}$$其中，$\mathbf{\lambda }$是分类分布的参数，那么数据的原始密度为$$\begin{array}{rl}P(\mathbf{x}|\mathbf{\theta })& =\sum _{k=1}^{K}P(\mathbf{x},h=k|\mathbf{\theta })\\ & =\sum _{k=1}^{K}P(\mathbf{x}|h=k,\mathbf{\theta })P(h=k|\mathbf{\theta })\\ & =\sum _{k=1}^K{\lambda }_{k}N(\mathbf{x};{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)\end{array}$$其可以解释为从混合分布$P(\mathbf{x},h)$中采样并丢弃了隐变量$h$，只留下数据样本$\mathbf{x}$。其中，隐变量$h$有一个清晰的解释，其决定了哪个正态分布对应于观测数据点$\mathbf{x}$。
  为了从训练数据$\{{\mathbf{x}}_i{\}}_{i=1}^I$中学习GMM参数$\mathbf{\theta }=\{{\lambda }_k,{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k{\}}_{k=1}^K$，可以使用EM算法。

4.5 学生氏分布
  使用高斯分布描述视觉数据有一个严重问题是不健壮：位于偏离期望的样本的概率密度下降的非常快，导致奇异点会严重影响估计的参数，因为由于奇异点的存在，要使得高斯分布的峰值向奇异点偏移，使得奇异点位置有恰当的概率密度。学生氏【Student’s t】分布，简称t分布提供了更加健壮的分布，其属于一种统计分布，数学定义是不太直观的：$$\begin{array}{rl}P(x)& =Stud(x;\mu ,{\sigma }^2,\nu )\\ & =\frac{\Gamma ((\nu +1)/2)}{\sqrt{\nu \pi {\sigma }^2}\Gamma (\nu /2)}(1+\frac{(x-\mu {)}^2}{\nu {\sigma }^2}{)}^{-\frac{\nu +1}{2}}\end{array}$$其中，$\mu$为均值，${\sigma }^2$为缩放参数，$\nu$为离散程度。当$\nu \to +\infty$时，该分布趋近于高斯分布；当$\nu \to 0$时，偏离期望的样本的概率密度远远高于高斯分布。对于$D$维空间的t分布，其概率密度函数更加复杂：$$\begin{array}{rl}P(\mathbf{x})& =Stud(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma },\nu )\\ & =\frac{\Gamma ((\nu +D)/2)}{(\nu \pi {)}^{|D/2|}|\mathbf{\Sigma }{|}^{1/2}\Gamma (\nu /2)}(1+\frac{(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}{\nu }{)}^{-\frac{\nu +D}{2}}\end{array}$$  首先介绍伽马分布，其定义在正实轴上，有参数$\alpha ,\beta$，其概率密度函数为$$Gam(x;\alpha ,\beta )=\frac{{\beta }^{\alpha }}{\gamma (\alpha )}exp[-\beta x]x^{\alpha -1}$$再令$$\begin{array}{rl}P(\mathbf{x}|h)& =N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma }/h)\\ P(h)& =Gam(h;\nu /2,\nu /2)\end{array}$$那么有$$\begin{array}{rl}P(\mathbf{x})& =\int P(\mathbf{x},h)dh\\ & =\int P(\mathbf{x}|h)P(h)dh\\ & =N(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma }/h)Gam(h;\nu /2,\nu /2)dh\\ & =Stud(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma },\nu )\end{array}$$其提供了从t分布中生成数据的方法：从伽马分布中生成$h$，并从相关联的高斯分布$P(\mathbf{x}|h)$中生成$\mathbf{x}$，而隐变量$h$给出了高斯分布族中与数据点有关的分布。
  概率密度函数$P(\mathbf{x})$是包含隐变量的联合分布的边缘化形式，可以使用EM算法从训练数据集$\{{\mathbf{x}}_i{\}}_{i=1}^I$中学习参数$\mathbf{\theta }=\{\mathbf{\mu },\mathbf{\Sigma },\mathbf{\nu }\}$。

4.6 因子分析
  视觉数据的维度通常很高，例如对于60x60的RBG图像，需要10800维度的向量来表示，当使用多元正态分布进行建模时，需要维度为10800x10800的协方差矩阵。一方面，需要大量的数据很好的估计这些参数；另一方面，需要大量的内存空间，以及对大型矩阵求逆的问题。
  当然，可以使用协方差矩阵的对角形式，但这假设了每个维度的数据是独立的，这显然是不正确的：非边缘区域的相邻像素的RGB值变化很小。一个好的模型应该捕获这些信息。
  因子分析提供了一种折中的方式，其利用全协方差模型定义一个线性子空间。因子分析的概率密度函数为$$P(\mathbf{x})=N(\mathbf{x};\mathbf{\mu },\mathbf{\Phi }{\mathbf{\Phi }}^T+\mathbf{\Sigma })$$其中，$\mathbf{\Phi }{\mathbf{\Phi }}^T$描述了子空间上的全协方差模型，$\mathbf{\Sigma }$解释剩下变化的对角矩阵。$\mathbf{\Phi }$是$K\times D$的矩阵，而