迁移学习（2）基于特征映射的迁移学习

找到潜在的特征映射空间，源域和目标域分布相同，然后去做训练。

Pan S J, Kwok J T, Yang Q. Transfer learning via dimensionality reduction[C]//AAAI. 2008, 8: 677-682.

1.引言： 

此篇之前的迁移学习有

1.基于实例的，用不同权重对数据进行排序。

2.基于特征的，找到共同的特征结构。

这篇是将找到潜在的共享特征空间，去建立源域和共享域的桥梁。如果两个域有相关性，它们存在一些共同的参数/变量影响实测的数据，它们中的一些会造成不同的分布，而另一些不会。可以找到不影响分布的潜在参数，这些参数使得源域和目标域的分布近似。

实际做法是将源域和目标域数据进行降维，判断低维空间的相似性，相似性强的化用低维空间数据进行分类。

2.Maximum Mean Discrepancy

Borgwardt K M, Gretton A, Rasch M J, et al. Integrating structured biological data by kernel maximum mean discrepancy[J]. Bioinformatics, 2006, 22(14): e49-e57.

最初用来判断两个样本是否同分布，后来用为判断分布相似性。

最大均值差异的基本原理是找到一个函数对于不同分布的数据具有不同的期望。它会告诉我们数据分布是否相同。

x，y是两个数据样本，p,q为各数据分布，f为映射函数，F为f的空间。

MMD代表在f的映射下求得最大期望差值，如果一样差值会一直为0，如果不同的，具体等于多少取决于让其差异最大的那个投影。不过当F太过rich时，MMD很容易取到无穷，所以我们需要对F有一个约束。

为了能表示MMD的性质：当且仅当p和q是相同分布的时候MMD为0，那么要求F足够rich；另一方面为了使检验具有足够的连续性（be consistent in power），从而使得MMD的经验估计可以随着观测集规模增大迅速收敛到它的期望，F必须足够restrictive。文中证明了当F是universal RKHS上的（unit ball）单位球时，可以满足上面两个性质。 
 

希尔伯特空间：https://blog.csdn.net/asd136912/article/details/79163368

指完备的内积空间。

内积空间是有距离、角度的空间。

完备性是指：空间中的任何柯西序列都收敛在该空间之内。https://blog.csdn.net/lanchunhui/article/details/53032690