【笔记】迁移学习中度量方法MMD（Maximum Mean Discrepancy 最大均值差异）

最大均值差异度量常常用在迁移学习中。它度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法。两个随机变量的 MMD平方距离为，以下是参考王晋东博士《迁移学习简明手册》。

1. 公式推导 

  

1.  为什么矩阵F范数的平方等于奇异值平方的和
2.  关于矩阵的迹的几个性质证明
3. MMD~Maximum Mean Discrepancy 最大均值差异

第三个博客讲的挺不错

---

对于MMD的公式不得不回忆一下线性代数的知识了，麻了~

补充知识：

1. 矩阵范数

 

2. 线性代数中一些常见的空间定义 

        什么是赋范线性空间、内积空间，度量空间，希尔伯特空间?现代数学的一个特点就是以集合为研究对象，这样的好处就是可以将很多不同问题的本质抽象出来，变成同一个问题， 当然这样的坏处就是描述起来比较抽象，很多人就难以理解了。
        既然是研究集合，每个人感兴趣的角度不同，研究的方向也就不同。为了能有效地研究集合，必须给集合赋子一些“结构”(从- 些具体问题抽象出来的结构) .从数学的本质来看，最基本的集合有两类:线性空间(有线性结构的集合)、度量空间 (有度量结构的集合)。
        对线性空间而言，主要研究集合的描述，直观地说就是如何清楚地告诉地别人这个集合是什么样子。为了描述清楚集合，就引入了基(相当于三维空间中的坐标系)的概念，所以对于一个线性空间来说，只要知道其基即可，集合中的元素只要知道其在给定基下的坐标即可。但线性空间中的元素没有“长度” (相当于三维空间中线段的长度)，为了量化线性空间中的元素，所以又在线性空间引入特殊的"长度”，即范数。赋予了范数的线性空间即称为赋范线性空间。但赋范线性空间中两个元素之间没有角度的概念，所以在线性空间中又引入了内积的概念。
        因为有度量，所以可以在度量空间、赋范线性空间以及内积空间中引入极限，但抽象空间中的极限与实数上的极限有个很大的不同就是， 极限点可能不在原来给定的集合中，所以又引入了完备的概念，完备的内积空间就称为Hilbert空间。这几个空间之间的关系是:

• 线性空间与度量空间是两个不同的概念，没有交集。
• 赋范线性空间就是赋子了范数的线性空间，也是度量空间(具有线性结构的度量空间)
• 内积空间是赋范线性空间
• 希尔伯特空间就是完备的内积空间。