基于细粒度推理的虚假新闻检测

论文：https://arxiv.org/abs/2110.15064

1. 动机

虚假新闻误导公众，威胁社会经济、政治的良性发展，而现有的虚假新闻检测方法存在一些局限。首先，这些方法大多缺乏可解释性，不提供解释或只对模型的一小部分提供解释。这阻碍了人们理解并信任模型给出的结果，以及引导模型进行性能改进。此外，现有的模型不具备细粒度推理能力，而这对于准确检测虚假新闻至关重要。人类有能力进行细粒度分析，并将不同类型的线索联系起来，从而得出更准确的新闻文本真实性结论。为提升虚假新闻检测模型的可解释性和准确率，作者提出了新颖的细粒度推理框架FinerFact用于虚假新闻检测，该框架遵循人类的信息处理模型，采用了一种基于相互强化（Mutual Reinforcement）的方法将人类知识引入模型预测，并设计了一个先验感知的双通道核图网络（Kernel Graph Network）对微妙的线索进行建模。作者证明了该方法的可解释性，并通过大量实验证明方法的优越性。

2. 贡献

本文的主要贡献包括：

1）提出了一种用于虚假新闻检测的细粒度推理框架FinerFact，它能更好地反映人类思维的逻辑过程，并对细微线索进行建模。

2）断言-线索图构建模块基于相互强化对线索进行排序，并整合人类提供的重要信息认知。基于图的细粒度推理模块对不同类型线索之间的关系进行建模，从而得出新闻文本真实性的结论。

3）所提出的框架FinerFact具备可解释性，使用户易于理解和控制结果，并允许用户指导、完善模型，提高了其可用性和适应性。

4）实验结果证明了该方法在准确率和F1指标方面优于现有的几种基线模型，实现了超越SOTA的效果，具有较好的有效性和鲁棒性。

3. 方法

每个训练样本包括待验证的新闻S，关于新闻的网络帖子集合P以及帖子之间的评论、转发关系，发布帖子P的用户信息U。模型输出新闻真实性预测结果，若为虚假新闻，y=1；若为真实新闻，y=0。遵循人类的信息处理模型，作者提出了一个用于虚假新闻检测的细粒度推理框架FinerFact，主要由两个模块组成，如图1所示。

图1  基于细粒度推理的虚假新闻检测FinerFact框架图

在断言-线索图构建（Claim-Evidence Graph Construction）模块中，作者提出了一种基于相互强化的方法，将人类关于不同线索重要性的知识纳入其中。该方法通过整合人类知识对线索进行排序，人类知识可分为固有属性和拓扑信息两类，相互强化机制根据这两类知识有效计算线索的重要性。断言-线索图G中，每个节点代表一个选定的主题，包含有关主题、关键断言和线索组的信息。由于全局阈值可能会忽略重要线索，为保障细粒度推理模块确定一组主题是否存在微妙的线索，作者采用全连接的方法来捕捉主题之间的微妙线索。

基于图的细粒度推理（Graph-Based Fine-Grained Reasoning）模块是以核图注意力网络（Kernel Graph Attention Network, KGAT）为基础的，KGAT能有效地模拟语句之间的细微差别，并将学到的信息传播到图中。然而单靠KGAT无法处理断言-线索图，因为它只能处理文本输入，无法整合包含人类对线索重要性认识的显著性分数。为了解决这个问题，作者对KGAT进行扩展，提出了一种先验感知双通道核图网络，利用两个通道对来自文本和用户输入的微妙线索进行建模，并整合了注意力先验机制，以纳入有关重要线索的现有知识。最终的预测结果由单个节点级预测结果组合而成。作者引入了话题建模、显著性得分和注意力先验，以捕捉不同的观点，选择关键的断言和线索，并确定图中每个节点的重要性。

4. 实验

为评估虚假新闻检测方法FinerFact的性能，作者在数据集PolitiFact和GossipCop上进行了实验。这2个数据集分别包含815和7612篇新闻文本，以及关于新闻的社会背景信息，新闻记者和领域专家提供的标签。

基线模型可分为2大类，一类是基于内容的方法，如SVM（Yang et al. 2012）、GRU-2（Ma et al. 2016）、RFC（Kwon et al. 2013）、DTC（Castillo, Mendoza, and Poblete 2011），它们根据新闻的文本或图片内容进行虚假新闻检测；另一类是融合知识的方法，如B-TransE（Pan et al. 2018）、KCNN（Wang et al. 2018a）、GCAN（Lu and Li 2020）、KAN（Dun et al. 2021），它们利用知识图谱、相关在线帖子的社交网络信息图等辅助知识来检测虚假新闻。

作者采用的评估标准包括精确率（Pre）、准确率（Acc）、召回率（Rec）、F1指标和ROC曲线与坐标轴围成的面积（AUC）。作者比较FinerFact方法与8个基线模型，进行了5次交叉验证，总体结果如表1所示。

表1 总体实验结果

FinerFact在两个数据集上的性能始终优于基线模型。在F1指标和准确率方面，FinerFact在数据集PolitiFact和GossipCop上比最优的基线模型KAN分别高出6.3%、5.1%和9.7%、5.5%。这证明了细粒度推理框架FinerFact的有效性，模型可通过识别和连接不同类型的微妙线索进行预测。此外，与GCAN相比，FinerFact在两个数据集上的F1指标分别提高了8.3%和9.8%。这意味着基于核的注意力机制可以更好地模拟新闻文本内容和用户感受之间的联系。

5. 总结

检测虚假新闻通常需要复杂的推理技巧，例如通过建模单词级别的微妙线索，有逻辑地整合推理依据等。在这项工作中，作者提出了用于虚假新闻检测的细粒度推理框架FinerFact，模拟人类思维的逻辑推理过程并实现对微妙线索的建模。作者采用的基于相互强化和人类知识的高效线索排序方法、先验感知双通道核图网络对不同类型线索之间的关系进行建模，从而能够对新闻文本的真实性做出更准确的判断。本文实验证明了所提方法的有效性和鲁棒性。FinerFact框架在准确率和F1指标方面优于几种基线方法，这表明了它在虚假新闻检测方面的优势；消融实验和敏感性分析进一步验证了所提方法的有效性。本文的一个显著特点是强调了可解释性。作者认识到向用户提供解释的重要性，使得用户能够理解和控制结果。这是虚假新闻检测的一个重要方面，因为它能增强用户的信任感，并帮助用户进一步提升模型性能。