高斯概率密度函数

高斯概率密度函数

1. 单变量正态分布

单变量正态分布概率密度函数定义为：
$$\rho (x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2}\text{\hspace{1em}(1)}$$
式中$\mu$为随机变量$x$的期望，${\sigma }^2$为$x$的方差，$\sigma$称为标准差。
$$\mu =E(x)={\int }_{-\infty }^{\infty }x\rho (x)dx\text{\hspace{1em}(2)}$$
$${\sigma }^2={\int }_{\infty }^{\infty }(x-\mu {)}^2\rho (x)dx\text{\hspace{1em}(3)}$$
matlab绘制正态分布曲线：

% 绘制单变量正态分布概率密度曲线
x1=-5:0.01:5; # 注意取值的对称性
subplot(2,1,1)
y1=normpdf(x1,0,1);
plot(x1,y1,'r');
title('\mu=0,\sigma^2=1')
xlabel('x')
ylabel('\rho(x)')
subplot(2,1,2)
x2=-5:0.01:7; # 注意取值的对称性
y2=normpdf(x2,1,sqrt(0.2));
plot(x2,y2,'r');
title('\mu=1,\sigma^2=0.2')
xlabel('x')
ylabel('\rho(x)')

图像：

由图中可知，方差越大曲线越宽，曲线始终以$\mu$为中心对称

正态分布的样本主要都集中在均值附近，其分散程度可以用标准差来表征，$\sigma$越大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间$(\mu -2\sigma ,\mu +2\sigma )$（或写作$|x-\mu |<2\sigma$）中。

2. 多元正态分布

（1）多元正态分布的概率密度函数的定义为：
$$\rho (x)=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )}\text{\hspace{1em}(4)}$$
式中：$x=[x_1,x_2,...,x_d{]}^T$是$d$维列向量；$\mu =[{\mu }_1,{\mu }_2,...,{\mu }_d{]}^T$是$d$维均值向量；$\Sigma$是$d\times d$维协方差矩阵，${\Sigma }^{-1}$是$\Sigma$的逆矩阵，$|\Sigma |$是$\Sigma$的行列式。
定义$\Sigma$为：
$$\Sigma =E[(x-\mu )(x-\mu {)}^T]\text{\hspace{1em}(5)}$$
显然，$d=1$时，多变量高斯和单变量高斯一致。有时用符号$N(\mu ,\Sigma )$表示均值为$\mu$、协方差为$\Sigma$的高斯概率密度函数。
为更好地理解什么是多变量高斯，我们考虑在二维空间的一些情况，二维空间是可视的。在这种情况下，有：
$$\Sigma =\left[\begin{array}{cc}{\sigma }_1^2& {\sigma }_{12}\\ {\sigma }_{12}& {\sigma }_2^2\end{array}\right]\text{\hspace{1em}(6)}$$
其中$(x-\mu )$为$2\times 1$的列向量，$(x-\mu {)}^T$为$1\times 2$的行向量。对于每个${\mu }_i$有$E[x_i]={\mu }_i,i=1,2$，通过定义${\sigma }_{12}=E[(x_1-{\mu }_1)(x_2-{\mu }_2)]$，得到随机变量$x_1$和$x_2$的协方差，这个可以度量它们的相互统计相关性。在统计意义下，如果变量是独立的，其协方差为0。显然，$\Sigma$对角元素是随机向量中各个元素的方差。

3. 二维高斯概率密度函数的示例

代码：

% 绘制双变量正态分布概率密度曲线
x = 1 : 0.3 : 7 ;  
y = 1 : 0.3 : 7 ;      
[X,Y] = meshgrid(x,y);
U1 = 4.0;
DX = 1;     % X的方差
dx = sqrt(DX);
U2 = 3.8;
DY = 1;     % Y的方差
dy = sqrt(DY);
COV = 0;     % X Y的协方差
r = COV / (dx * dy);
part1 = 1 / ( 2 * pi * dx * dy * sqrt( 1 - r^ 2 ));
p1 = - 1 / ( 2 * ( 1 - r^ 2 ));
px = (X - U1).^ 2. / DX;
py = (Y - U2).^ 2. / DY;
pxy = 2 * r.* (X - U1).* (Y - U2)./ (dx * dy);
Z = part1 * exp(p1 * (px - pxy + py));
figure(1)
mesh(X,Y,Z)
xlabel('x1');
ylabel('x2');
zlabel('\rho(x)');
title('二维概率密度曲线');
figure(2);
mesh(X,Y,Z);
xlabel('x1');
ylabel('x2');
zlabel('\rho(x)');
title('等值曲线');
view(0,90);

需要自行更改值的变量为Dx，Dy，COV

3.1 ${\sigma }_1^2={\sigma }_2^2$

二维概率密度函数曲线：

等值曲线：

此时等值曲线呈现各方向同性的球对称状。

3.2 ${\sigma }_1^2>>{\sigma }_2^2$

二维概率密度函数曲线：

等值曲线：

此时等值曲线呈现向$x_1$方向延申状。

3.3 ${\sigma }_2^2>>{\sigma }_1^2$

二维概率密度函数曲线：

等值曲线：

此时等值曲线呈现向$x_2$方向延申状。

3.4 ${\sigma }_{12}\ne 0$

二维概率密度函数曲线：

等值曲线：

由于改变${\sigma }_1^2$，${\sigma }_2^2$，${\sigma }_{12}$的值就可以得到不同的形状和方向。
等值曲线是不同方向、与短轴长度成不同比例的椭圆。考虑对角线协方差矩阵的随机向量的均值为0，即${\mu }_1=0,{\mu }_2=0$，即有如下方程：（计算等值曲线相当于计算指数为常数$C$的曲线）
$$\frac{x_1^2}{{\sigma }_1^2}+\frac{x_2^2}{{\sigma }_2^2}=C\text{\hspace{1em}(7)}$$