高斯概率密度函数

一维高斯PDF:

                                                               p(x) = \frac{1}{{\sqrt {2\pi {\delta ^2}} }}\exp \left[ { - \frac{{{{(x - \mu )}^2}}}{{2{\delta ^2}}}} \right],x \sim N(\mu ,{\delta ^2})

二维高斯PDF:

                     p(x,y) = \frac{1}{{2\pi {\delta _x}{\delta _y}\sqrt {1 - {\rho ^2}} }}\exp \left[ { - \frac{1}{{2(1 - {\rho ^2})}}\left( {\frac{{{{(x - {\mu _x})}^2}}}{{2\delta _x^2}} - \frac{{2\rho (x - {\mu _x})(y - {\mu _y})}}{{2{\delta _x}{\delta _y}}} + \frac{{{{(y - {\mu _y})}^2}}}{{2\delta _y^2}}} \right)} \right]

由此可以得到:x \sim N({\mu _x},\delta _x^2),y \sim N({\mu _y},\delta _y^2)

如果用矩阵形式表示

对于联合高斯矢量{[\begin{array}{*{20}{c}} x&y \end{array}]^T} ,其PDF为:

                                               p(x,y) = \frac{1}{{2\pi {{\det }^{1/2}}({\bf{C}})}}\exp \left[ { - \frac{1}{2}{{\left[ {\begin{array}{*{20}{c}} {x - E(x)}\\ {y - E(y)} \end{array}} \right]}^T}{{\bf{C}}^{ - 1}}\left[ {\begin{array}{*{20}{c}} {x - E(x)}\\ {y - E(y)} \end{array}} \right]} \right]

其中均值矢量和协方差矩阵为:

                                                                                      E\left( {\left[ {\begin{array}{*{20}{c}} x\\ y \end{array}} \right]} \right) = \left[ {\begin{array}{*{20}{c}} {E(x)}\\ {E(y)} \end{array}} \right]

                                                                                    {\bf{C}} = \left[ {\begin{array}{*{20}{c}} {{\mathop{\rm var}} (x)}&{{\mathop{\rm cov}} (x,y)}\\ {{\mathop{\rm cov}} (y,x)}&{{\mathop{\rm var}} (y)} \end{array}} \right]

协方差定义为:

                                                                             \begin{array}{c} {\mathop{\rm cov}} (x,y) = E\left[ {\left( {x - E(x)} \right)\left( {y - {\mathop{\rm E}\nolimits} (y)} \right)} \right]\\ \hspace{13pt}= {\rm E}(xy) - E(x)E(y) \end{array}

条件高斯PDFp(y|x) 也是高斯的,且

                                                                              {\mathop{\rm E}\nolimits} (y|x) = E(y) + \frac{{{\mathop{\rm cov}} (x,y)}}{{{\mathop{\rm var}} (x)}}\left( {x - E(x)} \right)

                                                                                   {\mathop{\rm var}} (y|x) = {\mathop{\rm var}} (y) - \frac{{{{{\mathop{\rm cov}} }^2}(x,y)}}{{{\mathop{\rm var}} (x)}}

矢量参数高斯PDF:

对于D维矢量{\bf{x}} = {\left[ {{x_1},{x_2}, \cdots ,{x_D}} \right]^T}服从参数为N({\bf{x}};{\bf{\mu }},{\bf{C}})的多维高斯分布,其高斯PDF为:

                                                             p({\bf{x}}) = \frac{1}{{{{\left( {2\pi } \right)}^{D/2}}{{\left| {\bf{C}} \right|}^{1/2}}}}\exp \left[ { - \frac{1}{2}{{\left[ {{\bf{x}} - {\bf{\mu }}} \right]}^T}{{\bf{C}}^{ - 1}}\left[ {{\bf{x}} - {\bf{\mu }}} \right]} \right]

如果{\bf{x}} = {\left[ {{x_1},{x_2}, \cdots ,{x_k}} \right]^T}{\bf{y}} = {\left[ {{y_1},{y_2}, \cdots ,{y_l}} \right]^T}是联合高斯的,均值矢量为{\left[ {\begin{array}{*{20}{c}} {{\mathop{\rm E}\nolimits} ({\bf{x}})}&{{\mathop{\rm E}\nolimits} ({\bf{y}})} \end{array}} \right]^T},分块协方差矩阵为:

                                                                       {\bf{C}} = \left[ {\begin{array}{*{20}{c}} {{{\bf{C}}_{{\bf{xx}}}}}&{{{\bf{C}}_{{\bf{xy}}}}}\\ {{{\bf{C}}_{{\bf{yx}}}}}&{{{\bf{C}}_{{\bf{yy}}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {k \times k}&{k \times l}\\ {l \times k}&{l \times l} \end{array}} \right]

所以其联合高斯PDF为:

                                            p({\bf{x}},{\bf{y}}) = \frac{1}{{{{\left( {2\pi } \right)}^{\left( {k + l} \right)/2}}{{\left| {\bf{C}} \right|}^{1/2}}}}\exp \left[ { - \frac{1}{2}{{\left[ {\begin{array}{*{20}{c}} {{\bf{x}} - E({\bf{x}})}\\ {{\bf{y}} - E({\bf{y}})} \end{array}} \right]}^T}{{\bf{C}}^{ - 1}}\left[ {\begin{array}{*{20}{c}} {{\bf{x}} - E({\bf{x}})}\\ {{\bf{y}} - E({\bf{y}})} \end{array}} \right]} \right]

条件PDF 也是高斯的,且

                                                                         {\mathop{\rm E}\nolimits} ({\bf{y}}|{\bf{x}}) = E({\bf{y}}) + {{\bf{C}}_{{\bf{yx}}}}{\bf{C}}_{{\bf{xx}}}^{ - 1}\left( {{\bf{x}} - E({\bf{x}})} \right)

                                                                                  {{\bf{C}}_{{\bf{y}}|{\bf{x}}}} = {{\bf{C}}_{{\bf{yy}}}} - {{\bf{C}}_{{\bf{yx}}}}{\bf{C}}_{{\bf{xx}}}^{ - 1}{{\bf{C}}_{{\bf{xy}}}}

这里可以表述为当矢量xy联合高斯时,其中一个矢量可以由另一个矢量线性表示,即y可以由x线性估计,在最小均方误差(MMSE)估计中,观测矢量与被估计矢量联合高斯,则被估计矢量可以由观测矢量线性估计,并且是最优估计。

 

参考文献:Steven M. Kay. 统计信号处理—估计与检测理论[M]. 北京: 电子工业出版社. 2011.

你可能感兴趣的:(高斯概率密度函数)