从Graph Convolutional Networks for Text Classification看图卷积网络

从Graph Convolutional Networks for Text Classification看图卷积网络

一、Graph Convolutional Networks for Text Classification介绍
原文链接
本文主要使用图卷积网络,图卷积网络公式如下：

其中

从文本中建图

图中节点的数量是单词数量+文档数量，O开头的是文档节点，其他的是词节点。图中黑线的线代表文档-词的边，灰色的表示词-词的边。R(x)表示x的embedding表示。节点的不同颜色代表文档的不同类型。
本文提出的TextGCN的初始输入向量是词和文档全部用one-hot编码表示。文档-词的边基于词在文档中的出现信息，使用TF-IDF作为边的权重。词-词的连边基于词的全局词共现信息。词共现信息使用一个固定大小的滑动窗口在语料库中滑动统计词共现信息，然后使用点互信息（PMI）计算两个词节点连线的权重。具体如下：

其中
#W表示滑动窗口的总数量
#W(i)表示在一个语料库中包含单词i的滑动窗口数量。
#W(i,j)表示同时包含单词i和单词j的滑动窗口的数量。
PMI为正表示词与词之间的语义相关性较高，为负表示两个词之间的语义联系较小或者不存在，所以我们只给PMI为正的两个词节点连线。
二、图卷积的理论基础–傅里叶变换和拉普拉斯矩阵
2.1、傅里叶变换
傅里叶变换1
傅里叶变换2
傅里叶的变换公式如下：

此公式将函数从时域转换到了频域，为什么要引入傅立叶变换？因为傅立叶变换具有一定的性质，就是原域进行卷积，相当于频域相乘：
即一个域相乘，相当于另一个域卷积；一个域卷积，相当于另一个域相乘。算图域卷积相当于傅立叶域相乘，那先对图和卷积核做傅立叶变换后相乘，再傅立叶反变换回来，就得到了图域卷积。
2.2、图的拉普拉斯矩阵
拉普拉斯矩阵

对于图 ，其Laplacian 矩阵的定义为 ，

L为拉普拉斯矩阵Laplacian matrix
D为对角度矩阵Degree matrix，对角线上的元素是顶点的度，即该元素链接的元素的个数
A为邻接矩阵 Adjacency matrix ,即表示任意两个顶点之间的邻接关系，邻接则为1，不邻接则为0
这个结论是个重要的结论，我们暂不具体推证，只是理解一下其中的物理意义。

物理意义：这个矩阵描述图的拉普拉斯矩阵与图的性质之间的关系。拉普拉斯矩阵与图的性质满足 这种矩阵关系，其中图的性质，体现在图的邻接矩阵A和图的度矩阵D上。
2.3、傅里叶变换与拉普拉斯矩阵的结合
结合
传统傅立叶变换的基，就是拉普拉斯矩阵的一组特征向量。这个具体推证我们不具体推证，但是这也是一个重要的结论，这在描述一种转化的关系，从求傅立叶变换的基得这个问题转换到求拉普拉斯矩阵的特征向量这个问题。
拉普拉斯矩阵可以分解成
，也就是

U就是L的特征向量，也是傅立叶变换的基，也是正交矩阵
L的特征值组成的对角矩阵：
结论：拉普拉斯矩阵的特征向量是傅立叶变换的基

通过这个结论，图的傅立叶变换就写成了另一种形式


图的傅里叶变换的矩阵形式：

反傅立叶变换的矩阵形式：

2.4、图卷积
将傅里叶变换应用于图的卷积，有如下公式：

即一域卷积，相当于另一域相乘。其中的逻辑关系等价：图域卷积——频域相乘。中间的桥梁就是傅立叶变换与反傅立叶变换。

结合上面的结论，我们可以得出：

• g就是 filter函数，也就是卷积核 图x表示为

• 即图在每一点上面的信号

• U即是傅立叶变换的基，也是拉普拉斯矩阵的特征向量

卷积核参考这里

图x与卷积核进行卷积的公式变换：
添加链接描述
经历一系列简化后的公式如下：

再加上激活层：

• H即层，上标是层数
• W为权值矩阵
• 得出了GCN之中的公式。
  为什么小x换为了大X，且θ换为了W，交换了位置？

关于这点，可以参考原论文。小x与大X，θ与W可以看作一一对应的关系，其中类似于滑窗变换一样的操作。类似于，三维卷积可以看作两个滑窗后的大矩阵相乘。