采样方法

拒绝采样，又叫接受/拒绝采样（Accept-Reject Sampling）。对于目标分布p(x)，选取一个容易采样的参考分布q(x)，使得对于任意x都有，则可以按如下过程进行采样：

逆变换采样

均匀法

在平时生成随机数的时候，实际上用的就是均匀采样，主要是掌握线性同余法。

有哪几种采样方法？

拒绝采样，重要性采样

在高维空间中，拒绝采样和重要性重采样经常难以寻找合适的参考分布，采样效率低下（样本的接受概率小或重要性权重低），此时可以考虑马尔可夫蒙特卡洛（Markov Chain Monte Carlo，MCMC）采样

马尔可夫蒙特卡洛采样法的思想是什么？

从名字看，MCMC采样法主要包括两个MC，即蒙特卡洛法（Monte Carlo）和马尔可夫链（Markov Chain）。蒙特卡洛法是指基于采样的数值型近似求解方法，而马尔可夫链则用于进行采样。MCMC采样法基本思想是：针对待采样的目标分布，构造一个马尔可夫链，使得该马尔可夫链的平稳分布就是目标分布；然后，从任何一个初始状态出发，沿着马尔可夫链进行状态转移，最终得到的状态转移序列会收敛到目标分布，由此可以得到目标分布的一系列样本。在实际操作中，核心点是如何构造合适的马尔可夫链，即确定马尔可夫链的状态转移概率，这涉及一些马尔可夫链的相关知识点，如时齐性、细致平衡条件、可遍历性、平稳分布等

Gibbs Sampling解决了什么问题

对于高维的情形，由于接受率a的存在(通常a< 1), 以上 Metropolis-Hastings 算法的效率不够高。能否找到一个转移矩阵Q使得接受率a=1呢？

不需要接受率了，根据细致平稳分布。

如何进行不均衡样本的采样？

对数据进行重采样，使原本不均衡的样本变得均衡