【机器学习】最大均值差异MMD详解

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来测试两个样本，是否来自两个不同分布p和q，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。

原理

MMD的基本原理如下所述：假设有一个满足P分布的数据集Xs=[xs1,...,xsn]和一个满足Q分布的数据集Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ(⋅):X−>H表示从原始空间到希尔伯特空间的一个映射，并且当n,m 趋于无穷时Xsx 和Xtx的最大均值差异可以表示为下式：

p和q相同时，MMD=0。

进一步，

通过上式可以看出，其原理是对每一个样本进行投影并求和，利用和的大小表述两个数据的分布差异。

 

优势

不用借助额外的参数

 

运用

MMD在最近的风格迁移中运用的比较多，其神经网络主要是通过最小化两个网络的分布差异，同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广，很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的，并且提出了很多改进方法。
 

转载自：https://blog.csdn.net/he_min/article/details/69397975