高斯分布抽样

高斯分布抽样

标准正态分布

 

给定均值，方差的正态分布

 

如何从标准正态分布生成给定均值方差的抽样

上面是对应的一维的情况，在多维的情况下有下面的结论

先来看这个线性变换后的均值部分

得到均值后，我们再来考虑方差部分

利用方差的定义有下面结论

假设有一个的均匀分布，我们希望得到的均匀分布

我们令就可以从[0,1]分布来生成[0,3]上面的均匀分布

那么y等于某个数的概率

可以看出来，这里有一个求逆的想法在里面

假设

这是一个[0,3]上得均匀分布

是一个可逆变换

关于X的分布函数

那么X的概率分布函数为

那么Y的概率分布函数为

再求导我们就能得到 Y 的概率密度函数：

这就求得了一个随机变量在某种映射下的概率密度函数

如果已经知道了目标概率分布，那么反过来就可以求得这个映射变换

给定目标

从上面的公式可以得到

那么可以得到

也就是说，把得到的随机数 X 带入到到函数这个映射中所得到的结果就是我们期望的效果

我们再来考虑一个二维的且两个维度相互独立的高斯分布,0均值，方差为1，它的概率密度函数为

转化到极坐标下

转化后的效果如下

那么分布函数为：

我们现在得到了关于r的概率分布函数

求得映射为

假设有两个在[0,1]上得均匀分布T1，T2，那么

就得到

就得到了r

由于T2 与 1-T2是相同的分布

再把极坐标换回笛卡尔坐标：

这就是二维的标准正态分布的抽样公式了  

再利用上面的关于任意多维度抽样的变换，就可以得到多维正态分布的抽样了

还是举个例子来看，我们得到了二维独立的0均值，方差为1的高斯分布

带人数值得到

假设我们有一个给定概率分布的二维高斯分布

进行如下 Cholesky 分解

Y分量服从

前面我们已经做了cholesky分解得到L，那么根据这个公式进行变换就可以期望得到分布

先从标准分布的到X,进行上面的运输得到新的变量就OK了

这只是对有解析式的抽样情况，对复杂的概率密度，需要用MCMC,Gibbs采样等手段，这个在另外的一篇中单独讲。