希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion-HSIC）的理解

本章主要是对Gretton et al.文献的一个理解，仅供大家参考！如有疑问可以下方讨论留言。

希尔伯特-施密特独立性准则（Hilbert-Schmidt Independence Criterion-HSIC）主要目的是衡量两个变量的一个分布差异，这一点类似于协方差（方差），而对于其本身也是依赖于协方差而构建。如下公式（1）所示

                                                        （1）

其中Z(v)和Z(w)分别表示两个不同的视角数据集。每一个视角数据集都包含有n个样本数据点，其中可定义为

                                                          

其中表示Z(v)和Z(w)的概率分布。范数||*||HS的定义如下：

其中F和G分别表示X和Y的再生核Hilbert空间。核函数的理解是比较抽象，也有点晦涩难懂（重点是在于核函数的选取），大家有兴趣可以参考一篇博客https://blog.csdn.net/kateyabc/article/details/79980880，在这里我们直接对其理解为非线性数据的处理，使得尽可能的表现出潜在的语义空间信息，有利于传统的方法对其进行研究。

敲黑板！！！重点来啦！

对于公式（1）中的Cz(v)z(w)则是变量Z(v)和Z(w)的协方差，具体的定义如公式（2）所示

                                           （2）

在公式（2）中uz(v)与uz(w)分别表示的期望，表示为张量积，分别表示关于变量Z(v)和Z(w)在空间的（X,Y）中的核函数，在本文中的核函数定义为

同理可得

其中<*，*>表示两个变量的内积（内积与迹函数的关系将会在后面进行推导）。总结而言，最终我们可以得到关于HSIC的定义表达式为（详细推导过程可参考文献Gretton et al., 2005）：

在这里Kv和Kw表示为Gram矩阵。H(ij)=deta(ij)-1/n表示均值为零的一个矩阵，deta

---

内积与迹函数的关系

                         ==sum(a(i)^H*b(i))=sum=Vec(A)^H*Vec(B)=Tr(A^H*B)

其中A=[a1,a2,...,an],Vec(A)=[a1;a2;...;an]表示张量。

参考文献[Gretton et al., 2005] Arthur Gretton, Olivier Bousquet, Alex Smola,and Bernhard Scholkopf. Measuring statistical dependence with hilbert-schmidt norms. In ALT, volume 16, pages 63–78.Springer, 2005.