Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport论文阅读笔记

Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport笔记

发现问题

连续正规化流（CNF）是一种有吸引力的生成式建模技术，但在基于模拟的最大似然训练中受到了限制。

解决问题

介绍一种新的条件流匹配（CFM)，一种针对CNFs的免模拟训练目标。具有稳定的回归目标，用于扩散模型中的随机流，但享有确定性流模型的有效推断。与扩散模型和CNF目标不要求源分布是高斯分布或需要评估其密度。基于新目标，引入最优运输CFM（0T-CFM），创建了更简单的流，更稳定的训练和导致更快的推理
正规化流技术是在固定的分布和目标分布之间构建一个可逆且高效可微的映射。是一个强大的密度估计器，允许标准正态分布到数据分布的有效转换。CNF在分布之间的可逆映射是由一个神经常微分方程（ODE）指定的，缺点是训练困难，不能很好的扩展到大规模数据集上。
扩散模型也是生成式建模任务上的最新技术，模拟一个简单的密度转换为数据分布的随机微分方程（SDE）来生成新的样本。扩散模型的成功部分归功于简单的回归训练目标，在寻来你过程中不需要模拟SDE。CNF可以使用类似扩散的流匹配（FM）进行训练。
CNF(ODE)与其他生成模型,如扩散模型（SDE), VAE（离散时间归一化流）以及生成对抗网络这些模型相比，主要缺点是推理时间长。流模型需要通过多步生成高质量的样本。
CFM允许训练连续时间的流模型，而不需要通过时间进行积分或反向传播。由于六十有ODE参数化的，可以在推理时使用有效的ODE求解器，从而避免在扩散模型中按照要求求解SDE。CFM比FM更加灵活，因为CFM可以使用任意的源分布和有意义的正则化来训练，而FM必须使用高斯源分布，并且不允许简单的正则化机制。
OT-CFM是CFM的一个变体，以免模拟的方式近似源和目标分布之间的动态OT映射。根据一个最优运输计划抽取源和目标样本来加强CFM，能够将学习问题转化为一个带约束的动态OT优化或分布之间的Schr ̈ odinger桥。

什么是流匹配？

假设给定一个目标流pt和生成它的向量场ut .学习与pt相匹配的流的一种方法是通过对目标向量场的回归进行梯度下降。