最大均值差异MMD

最大均值差异是迁移学习中使用频率最高的度量。 Maximum mean discrepancy,它度量在再生希尔伯特空间中两个分布的距离,是一种核学习方法。简单地理解就是计算两堆数据的均值距离,但是实际比较难计算。就将两个分布映射到另一个空间计算距离。计算距离的方法是,计算分布上每一个点映射到另一空间的距离然后求和。

MMD的基本原理:假设一个满足P分布的数据集X^{s}=[x_{1}^{s},...,x_{n}^{s}]和一个满足Q分布的数据集X^{t}=[x_{1}^{t},...,x_{m}^{t}]并且存在一个再生希尔伯特空间H(RKHS)存在一个映射函数\Phi (.):X\rightarrow H表示从原始空间到希尔伯特空间的一个映射,并且当n,m趋于无穷时X^{s}X^{t}的最大均值差异可以表示为:

f(X^{s},X^{t})=\left \| \frac{1}{n}\sum_{i=1}^{n} \phi (x_{i}^{s}) -\frac{1}{m}\sum_{i=1}^{m} \phi (x_{i}^{t}) \right \|

从公式中可以看出,对每一个样本先投影并求和,求每个数据集的均值,再求差。

 

你可能感兴趣的:(迁移学习)