论文学习 Generative Modeling by Estimating Gradients of the Data Distribution

前言

个人认为，这篇Song Yang大佬的文章虽然被网上很多人吹，然而我们还是应该避免捧杀，认真了解一下其文章的内容和思想，以及试图理解他是如何想到这种思路的。通过其论文引用，实际上也能发现Song神的学习路径，确实具备非常坚实的数学基础。

至于这篇文章与DDPM（扩散模型）的关系，个人认为，这篇文章可以从理论上作为扩散模型有效的证据，或者说，从另一个角度，实现了与扩散模型相同的效果。十分厉害。

论文连接

前情提要

分数匹配

参考文章

朗格文动力学

略

核心问题

流形假设

前文分析所得的结果，基本建立在数据的分布能够覆盖整个空间，而不会集中在某些高维流形的局部形成低维流形。然而现实中，数据的分布往往集中在全空间的某些局部。

产生的问题

• 由于密度分布不均匀导致前文提到的分数匹配模型在低密度处缺乏训练数据，从而难以获得准确的结果。
• 如果对于两个数据分布区域间存在低密度区域或者分割的区域，那么利用朗格文动力学将会及其难以收敛，以至于在有限步内，会得到误差结果。

文章的解决方案

利用模型预测$t$时间步时的分数，其中数据随着时间步增大，逐渐去噪。也即数据一开始的分布接近于正态分布，而随着时间步增大，数据分布将回归数据本身的分布。

由于引入了noise，使得数据的分布不再集中在某些局部，从而获得了良好的性质，解决了前文提出的问题。