深度学习中的采样以及采样算法

为什么要采样?

在深度学习中,许多函数的分布难以直接求解,所以我们要用采样的办法来近似的求解(蒙特卡洛法求解)。



采样就采样,为什么需要采样算法?

许多函数是要计算积分的,我们无法直接通过计算得到函数的值,因此我们需要采样算法,首先构造一个容易采样的参考分布,对参考分布进行采样,然后对得到的样本进行后处理,得到目标分布。


低纬数据的采样方法

拒绝采样

看图很容易理解思



重要性采样

用于计算期望



MCMC

马尔科夫链定理




蒙特卡洛方法

蒙特卡洛方法就是通过抽样逼近难以计算的值,比如求圆的面积的时候的使用撒豆法,而MCMC方法比较有代表性的方法有两种,Metropolis-Hastings Sampling 以及Gibbs Sampling


image.png

Metropolis-Hastings

吉布斯采样


MCMC采样的性质

你可能感兴趣的:(深度学习中的采样以及采样算法)