虚假新闻检测论文阅读（九）：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks

论文题目：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
论文来源：AAAI 2020 清华大学
官方代码：https://github.com/TianBian95/BiGCN

有监督、基于社交上下文、基于新闻传播信息

一、基本内容

首次将新闻的传播过程建模为图结构，Bi-GCN利用top-down的图表示新闻的传播信息，利用bottom-up的图表示新闻的弥散信息，利用GCN去融合图中的节点信息，获得节点表征，Bi-GCN还提出了一种根节点强化机制，认为源新闻会对其他信息产生语义增强效果，因此在其余节点中融合了源新闻的信息。最后对top-down的图和bottom-up得到的节点信息进行池化得到两个图的图信息，再将两个图信息进行拼接，输入到分类器中，得到最终的分类结果。

二、文章动机

• 近期部分研究使用深度学习方法从传播路径/树或者网络中，挖掘出高阶的表示以进行谣言的识别。通常使用到的模型都是可以捕获到谣言随时间传播的序列特征的模型，例如LSTM, GRU, RvNN。
  ！但是，这些模型（时序结构特征）只关注到了谣言的传播序列。而忽视了谣言散布的影响（谣言散布的结构也隐含了谣言传播行为的信息）。
  所以，一些研究尝试通过使用基于CNN的方法，从谣言散布的结构中获得信息。基于CNN的方法只能捕获局部领域内的相关特征，但是不能处理图或树上的全局结构关系。也就是说，基于CNN的方法忽视了谣言散布的全局结构特征。图卷积网络GCN的设计目的则是为了从结构数据学习到高阶表示。
• 谣言的两个主要特性：沿着关系链的深层传播和跨社交社区的宽度散布。
  原始GCN只依赖于相关帖子间的关系进行信息的聚合，但丢失了序列信息。即其可以处理谣言散布的全局结构特征，但是无法处理谣言传播方向信息。针对这一问题，提出了Bi-GCN方法，在谣言top-down和bottom-up的图结构上进行操作。具体通过TD-GCN处理谣言的传播，BU-GCN从节点的子节点聚合信息表示谣言的散布过程。
  

三、模型框架

• 模型由两部分组成，即TD-GCN（由上到下）和BU-GCN（由下到上）。TD-GCN中信息从父节点出发向外散布，正如谣言的传播过程；BU-GCN中信息从子节点向父节点聚合。然后通过全连接层将TD-GCN和BU-GCN的传播和分散表示合并到一起，得到最终的结果。
• 为了增强谣言根源的影响，模型使用了根源帖子特征的增强。具体来说，在GCN每层GCL中，对于每个节点，将根源帖子在上一层的隐层特征表示和节点在该层的隐层特征表示拼接起来，作为节点在该层的最终隐层特征表示。这种方法增强了谣言根源帖子对于学习到其他帖子节点表示的影响力，可帮助模型学习得到更有助于谣言检测的节点表示。
• 为了缓解过拟合问题，训练阶段使用DropEdge方法。
  【 Note：
  过度拟合和过度平滑是GCN进行节点分类的主要障碍，DropEdge方法可以解决这个问题
  过拟合指在使用复杂模型去拟合少量数据时会造成泛化能力变差，是深度学习模型中常见的问题。
  过平滑指在GNN中独有的问题。GCN思想是聚合邻居节点和节点自身的信息来学习节点的表示，所以随着网络的加深，节点的表示就会趋于相同，可分性会变差。层数越深，节点的表示最终会收敛到一个固定点，得到的节点表示就和输入特征无关，还会导致梯度消失。】

具体过程：

1. 图结构的建立和表示：
   输入是图的邻接矩阵A和特征矩阵X。首先对A进行DropEdge操作得到$A^{{}^{\prime }}$。之后，对于TD-GCN来说，其邻接矩阵为$A^{TD}=A^{{}^{\prime }}$；对于BU-GCN来说，其邻接矩阵为$A^{BU}=A^{{}^{\prime }}$。TD-GCN和BU-GCN具有相同的特征矩阵$X$。
2. 计算高级节点表示
   
   对于TD-GCN和BU-GCN来说，我们使用卷积算法求节点的高阶表示。
3. 根源节点信息加强
   由于根源节点具有非常多的信息可以利用，因此将第$(k-1)$个GCL中每个节点的隐藏特征向量与根节点的隐藏特征向量连接，构造成一个新的特征矩阵。
   
   

• 分类器
  将TD-GCN和BU-GCN得到的两组节点表示进行均值池化并连接，最终输入到一个全连接层中，得到最后的预测结果。
  
  
  
  模型训练阶段，使用预测结果和真实结果的交叉熵损失函数进行训练。

四、数据集

在三个数据集中，节点表示用户，边缘表示转发或响应重新发布，特征是提取TF-IDF值前5000的单词。
Weibo数据集包括两个标签：F、T；Twitter15和Twitter16包括四个标签：N、F、T、U。

五、实验设置

• 更新参数方法：随机梯度下降；
• 优化器：Adam；
• DropEdge中的dropout为0.2；
• Dropout为0.5；
• Epoch个数设置为200，验证损失停止减少10个epoch时，将应用早停early stopping。
  【Note：在训练数据时使用早停法early stopping结合交叉验证（论文中使用5折），可以防止模型过早拟合。参考链接早停法early stopping】