最大均值差异

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测,也就直观的判断两个数据的分布。

原理

MMD的基本原理如下所述:假设有一个满足P分布的数据集 Xs=[xs1,...,xsn] 和一个满足Q分布的数据集 Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数 ϕ():X>H 表示从原始空间到希尔伯特空间的一个映射,并且当 n,m 趋于无穷时 Xsx Xtx 的最大均值差异可以表示为下式:

f(X(S),X(T))=||1ni=1nϕ(xsi)1mi=1mϕ(xti)||

通过上式可以看出,其原理是对每一个样本进行投影并求和,利用和的大小表述两个数据的分布差异。

运用

MMD在最近的风格迁移中运用的比较多,其神经网络主要是通过最小化两个网络的分布差异,同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广,很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的,并且提出了很多改进方法。

你可能感兴趣的:(机器学习,数据分析师养成记)