概率论——Wasserstein距离

Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，定义：

W(P1,P2)=infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||]

Π(P1,P2) 是 P1 和 P2 分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布 γ ，可以从中采样 (x,y)∼γ 得到一个样本 x 和 y ，并计算出这对样本的距离 ||x−y|| ，所以可以计算该联合分布 γ 下，样本对距离的期望值 E(x,y)∼γ[||x−y||] 。在所有可能的联合分布中能够对这个期望值取到的下界 infγ∼Π(P1,P2)E(x,y)∼γ[||x−y||] 就是Wasserstein距离。

直观上可以把 E(x,y)∼γ[||x−y||] 理解为在 γ 这个路径规划下把土堆 P1 挪到土堆 P2 所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。所以Wesserstein距离又叫Earth-Mover距离。

Wessertein距离相比KL散度和JS散度的优势在于，即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。而JS散度在此情况下是常量，KL散度可能无意义。

根据Kantorovich-Rubinstein对偶原理，可以得到Wasserstein距离的等价形式：

W(P1,P2)=sup||f||L≤1Ex∼P1[f(x)]−Ex∼P2[f(x)]