微软声称其AI框架比最新基准更好地发现虚假新闻

图片来源：Shutterstock

在本周于预印本服务器Arxiv.org上发表的一项研究中，微软和亚利桑那州立大学的研究人员提出了一个AI框架-弱社会监督（MWSS）的多种来源-利用参与度和社交媒体信号来检测虚假新闻。他们说，在真实世界的数据集上对模型进行训练和测试后，该模型的性能优于许多最新的基线，可早期检测假新闻。

如果该系统的准确性达到要求并投入生产，它将有助于防止传播有关美国总统候选人和其他有争议主题的虚假和误导性信息。布鲁金斯学会（Brookings Institute）在2018年进行的一项调查发现，有57％的美国成年人在2018年大选期间看到了假新闻，还有19％的人认为这影响了他们的选票。

该论文的合著者解释说，学术文献中的许多虚假新闻分类器都依赖信号，这些信号需要长时间才能汇总，因此不适合早期发现。而且，有些仅依靠容易受到有偏见或不真实的用户反馈影响的信号。

相反，研究人员的系统采用来自多个来源的监督，涉及用户及其各自的社交活动。具体来说，它利用少量的手动注释数据和大量弱注释数据（即，噪声很大的数据）在元学习AI框架中进行联合训练。

被称为标签加权网络（LWN）的模块对弱标签的权重进行建模，这些标签控制假新闻分类器的学习过程，并以研究人员所指的实例（例如新闻片段）及其标签为输入。它输出代表该对的重要权重的值，该值确定实例在训练假新闻分类器中的影响。为了允许不同弱信号之间的信息共享，共享特征提取器与LWN一起工作，以学习通用表示并使用功能将特征映射到不同的弱标签源。

上图：将Microsoft AI与各种基准模型的性能进行比较的图表。

微软研究人员利用开源FakeNewsNet数据集对其系统进行了基准测试，该数据集包含新闻内容（包括诸如正文文本之类的元属性），并带有来自事实检查网站GossipCop和PolitiFact的专家标注的标签，以及诸如推文之类的社交环境信息。关于新闻文章。他们用13个来源的语料库进行了增强，包括BBC和Sky News等英国主流新闻媒体，以及RT和Sputnik等俄罗斯新闻媒体的英语版本，其内容主要与政治有关。

为了生成弱标签，研究人员测量了分享新闻的用户的情感评分，然后确定这些评分之间的差异，从而将情感差异很大的文章标记为假。他们还建立了具有已知公共偏见的人群，并根据用户的兴趣与这些人群的匹配程度来计算分数，并根据偏见用户共享的新闻更有可能是假的理论进行操作。最后，他们通过根据用户在社交媒体上的元信息对用户进行聚类来衡量可信度，从而使形成大型群集（可能表示机器人网络或恶意活动）的用户被认为不那么可信。

在测试中，研究人员说，性能最佳的模型结合了Facebook的RoBERTA自然语言处理算法，并接受了干净数据和弱数据的组合训练，分别在GossipCop和PolitiFact中分别有80％和82％的时间准确检测到了假新闻。这比基准模型高出7个百分点。

该团队计划在未来的工作中探索其他技术，例如用于获取高质量弱标签的标签校正方法。他们还希望扩展框架，以考虑社交网络的其他时间戳，利用社交活动的时间戳记。

当然，并非只有这些研究人员试图通过AI打击假新闻的传播。在最近的一项研究中，麻省理工学院的计算机科学与人工智能实验室开发了一种AI系统来发现误导性新闻报道。去年年底，拼图游戏发布了Assembler，这是一种由AI驱动的，用于媒体组织的假新闻发现工具套件。AdVerif.ai是去年在Beta中启动的软件即服务平台，可分析文章中的错误信息，裸露内容，恶意软件和其他有问题的内容，并交叉引用包含数千个假冒和合法新闻的定期更新数据库。就其本身而言，Facebook已尝试部署可“识别帐户和虚假消息”的AI工具。