最大均值差异

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。

原理

MMD的基本原理如下所述：假设有一个满足P分布的数据集 Xs=[xs1,...,xsn] 和一个满足Q分布的数据集 Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数 ϕ(⋅):X−>H 表示从原始空间到希尔伯特空间的一个映射，并且当 n,m 趋于无穷时 Xsx 和 Xtx 的最大均值差异可以表示为下式：

f(X(S),X(T))=||1n∑i=1nϕ(xsi)−1m∑i=1mϕ(xti)||

通过上式可以看出，其原理是对每一个样本进行投影并求和，利用和的大小表述两个数据的分布差异。

运用

MMD在最近的风格迁移中运用的比较多，其神经网络主要是通过最小化两个网络的分布差异，同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广，很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的，并且提出了很多改进方法。