论文阅读-Identifying Coordinated Accounts on Social Media through Hidden Influence and Group Behaviours

目录

摘要

1 INTRODUCTION

2 RELATED WORK

3 TASK DEFINITION AND PRELIMINARIES

3.1 Task Definition

3.2 时间点处理

 4协调检测方法

 4.1 账户活动建模

4.1.1 AMDN 架构和训练。

 4.2 隐藏组建模

 4.3 共同学习

5 实验结果

5.1 Data Collection

5.1.1 俄罗斯互联网研究局（IRA）协调行动

5.1.2 COVID-19 大流行。

5.2 基线和模型变体

 5.3 协调检测结果

5.4协调检测分析

5.4.1 从影响结构中揭示特征行为

5.4.2 发现 COVID-19 数据中的协调群体

---

 

论文链接：https://arxiv.org/pdf/2008.11308.pdf

摘要

        社交媒体上的虚假信息活动越来越普遍，其中包括从恶意账户为操纵公众舆论而开展的协调活动。

        现有的检测协调帐户的方法要么对协调行为做出非常严格的假设，要么需要揭露协调组中的部分恶意帐户才能检测其余帐户。

        为了解决这些缺点，我们提出了一种生成模型 AMDN-HAGE（具有隐藏帐户组估计的注意混合密度网络），它基于时间点过程（TPP）和高斯混合模型（GMM）联合建模帐户活动和隐藏组行为，为了捕捉协调的内在特征，即协调的账户必须强烈影响彼此的活动，并且总体上与正常账户表现出异常。

        为了解决优化所提出模型的挑战，我们提供了一种具有收敛理论保证的双层优化算法。

        我们对从 Twitter 收集的与俄罗斯互联网研究机构针对 2016 年美国总统选举的协调活动相关的现实世界社交网络数据验证了所提出的方法和训练算法的有效性，并确定了与 COVID-19 大流行相关的协调活动。

        利用学习的模型，我们发现协调帐户对之间的平均影响力最高。

        关于 COVID-19，我们发现有协调一致的团体散布反疫苗接种、反口罩阴谋，表明这种流行病是一场骗局和政治骗局。

1 INTRODUCTION

        在最近一个时期，持久性滥用的社会媒体对于传播虚假信息并影响公众舆论和社会成果已经成为一个越来越紧迫的问题[20]. 它已经在很大程度上被用作一种手段来影响选举[2],公众对在社会问题，如社会与政策相关的COVID-19[21个]和其他当地和全球活动。 该问题已经得到甚至更多的相关性，在正在进行COVID-19流行病，更加依赖社会媒体的信息，关于医疗保健和政策，已经使它成为一个容易的目标的大规模散布虚假消息运动的[21]. 最早报道的虚假信息活动案例是在美国国会调查发现俄罗斯“互联网研究机构”(IRA) 或俄罗斯“巨魔农场”在社交媒体上运营的协调账户通过宣传虚假信息和政治影响 2016 年美国大选时出现的分裂的叙述[2]。识别用于操纵社交媒体的协调账户至关重要。

GAP

        为了解决这一关键任务，早期的方法试图根据个人行为、账户特征和虚假信息宣传参与情况 [1] 或集体群体行为（例如时间同步的活动）来发现协调账户 [4, 17]。然而，它们都面临着固有的局限性。依靠虚假信息线索或自动行为来检测协同行动者的方法，在检测由人工操作的账户方面存在不足，这些账户使用说服、诽谤和极化手段来操纵舆论（协同影响行动中注意到的特征[13]）。

        利用集体行为的现有方法严重依赖于协调行为的假设特征，例如类似的主题标签序列作为协调签名或及时同步的活动 [17,24,28]。然而，这些特征可能不一致[30]，限制了对未知账户的泛化。此外，依赖手工制作的协调签名只能捕获有限范围的行为，并且无法有效减少误报，对协调群体做出严格的假设，而这些假设不一定成立。图 1 显示了 Twitter 正式暂停的帐户示例以及在 COVID-19 数据中观察到的帐户活动（也被确定为与我们的方法相协调）。从账户中观察到的协调活动的时间差异多种多样，有的不到 6 小时，有的则超过半周。在这项工作中，为了解决这些缺点，我们建议对协调的以下固有特征进行建模：

 （Twitter 在 COVID-19 数据中暂停的协调账户（也用提议的方法识别）。这些账户的示例推文显示了协调推动的政治阴谋。他们协调活动的时间差从一处不到 6 小时到另一处超过半周不等。）

        协调的固有特征

        • 隐性影响力强。如果帐户协调起来放大社交媒体帖子或针对特定个人，那么他们的活动之间应该存在很强的隐藏（潜在）影响。最近重要的计算宣传是由政治人物和政府制作和运作的[25]。

         • 高度协调的活动。协调账户的集体行为应该是集体异常的，不同于网络上活动模式组织较少的其他正常账户（即，由不同机制生成时偏离正常的观察结果[10]）。

        捕获协调特征的方法

        无监督生成模型

        为了捕获它们，我们提出了AMDN-HAGE（带有隐藏账户组估计的注意混合密度网络），这是一种用于识别协调账户的无监督生成模型，它基于神经时间点过程（NTPP）和联合建模账户活动和隐藏账户组高斯混合模型（GMM）。

        对未来活动的分布进行建模

        为了了解帐户活动之间的潜在相互作用或影响，我们根据具有时间差异的所有帐户的过去活动对未来活动的分布进行建模，并通过同时学习帐户的组成员身份来共同捕获集体异常行为。

       联合优化问题

         为了解决联合优化问题，我们根据观察到的活动轨迹，提出了一种使用随机梯度下降和期望最大化的双层优化算法。

        使用账户 ID 和活动时间戳的活动跟踪中学习账户表示和隐藏组

        由于 AMDN-HAGE 以无监督的方式直接从仅使用账户 ID 和活动时间戳的活动跟踪中学习账户表示和隐藏组，因此它不需要了解协调组中部分未覆盖的账户或预定义的单个特征，尽管它们也可以被插入如有必要，可轻松进入。

        假设协调帐户是具有协调活动的异常群体

        此外，与依赖时间戳同步等严格群体行为假设的现有模型不同，我们的模型仅假设协调帐户是具有协调活动的异常群体，从而允许对协调群体进行更多数据驱动的识别。除了上述有效性优势之外，通过结合显式注意力模块，我们使我们的模型能够学习并输出网络上帐户之间潜在交互的强度。总的来说，我们的贡献如下：

        我们建议 AMDN-HAGE 从基于 NTTP 和 GMM 的帐户活动推断出的集体群体行为中检测协调的活动。

         • 我们提供了具有理论和实证保证的活动轨迹建模（NTPP）和社会群体建模（GMM）联合学习的双层优化算法。

        • 对有关已知协调活动的真实世界 Twitter 数据进行的大量实验，验证了我们的方法在协调检测方面非常有效。从学习模型中，我们发现协调帐户的可识别模式，例如它们之间的影响力最高，但衰减最快。

        • 我们应用该方法来识别 COVID-19 数据中未知的协调活动，并找到西班牙语和英语帐户的协调组（NoMask、NoVaccine、NoALaVacuna、NoAlNuevoOrdenMundia、QAnon），内容涉及无口罩、无疫苗、无新世界秩序阴谋、反对比尔·盖茨认为，COVID-19 是一场骗局和政治骗局。

2 RELATED WORK

        虚假信息和社交媒体滥用问题降低了人们对在线平台的信任。打击虚假和误导性信息的努力已在许多不同的背景下得到了广泛研究[20]，从从内容特征检测虚假信息和社交媒体上对其的反应，到了解传播模式[19]和参与其传播的账户[7]。与社交机器人和个人恶意帐户不同，越来越多的研究领域是检测协调帐户（协调的虚假信息或影响活动），也称为“巨魔农场”，由一组人类和/或机器人帐户精心策划，以发挥作用联合传播虚假信息或其他叙事[12]。

个体行为：参与虚假信息传播情况分配置信度分数

        识别协调账户的主要技术是： 个体行为。现有作品主要使用两种个体行为。第一种是参与虚假信息传播[18, 19]。例如Ruchansky 等人提出了一种假新闻检测模型，根据帐户参与假新闻级联的情况为其分配可疑性分数 [18]。

个体特征：定义各类特征

        第二类是个体特征，例如欺骗性语言特征、共享链接数量、主题标签和设备发帖和跨平台活动 [1, 11, 29]。除了上述预定义的特征之外，巨魔帐户的活动痕迹对于理解恶意行为也很有用。在最近的工作中，Twitter 帐户的推文、转发和回复模式被用来推断其活动背后的激励或奖励，并表述为逆强化学习问题 [12]。根据估计的奖励，作者发现巨魔的行为与普通用户不同，因为他们似乎不管响应如何都会执行他们的活动。

集体行为：学习潜在的帐户交互来自动学习和检测观察到的帐户活动中的协调行为

        集体行为。从整体上检查集体或群体行为以检测异常恶意帐户的方法与我们的方法相关。曹等人和古普塔等人基于恶意帐户活动及时同步的假设，对大约在同一时间采取类似操作的帐户进行集群 [4, 9]。其他工作对通过手工制作的特征定义的帐户相似性图进行聚类或分区，这些特征被认为表示协调行为，包括由一大群帐户共同共享的主题标签或文章的序列[17, 24]。这种方法的显着局限性在于，用于定义协调的同步或手工特征的假设可能不成立。相反，我们建议通过学习潜在的帐户交互来自动学习和检测观察到的帐户活动中的协调行为。

3 TASK DEFINITION AND PRELIMINARIES

3.1 Task Definition

        在本节中，我们介绍了从帐户的集体群体行为中检测社交网络中协调帐户的任务。协调的活动是精心策划的努力，其中帐户串通无机地传播并放大特定叙述的传播以进行舆论操纵，我们要解决的任务是识别这种协调的帐户。在这项工作中，我们提出了 AMDN-HAGE（具有隐藏帐户组估计的注意混合密度网络），这是一种用于协调检测的无监督生成模型。它对账户活动痕迹和潜在账户组进行联合建模，从观察到的账户活动中学习集体群体行为，并检测具有集体异常行为的协调账户。

        活动痕迹：我们考虑的唯一输入是社交网络上帐户的活动痕迹。活动轨迹可以表示为按时间排序的事件序列，可以表示为 = [(1, 1), (2, 2), (3, 3), ··· (, )] 。每个元组 ( , ) 对应于帐户 在时间 进行的活动。这些活动代表网络上的帐户操作，例如发布原始内容、重新共享、回复或对其他帖子作出反应。为了提供独立于平台/语言的检测，我们不包括操作类型或帖子内容和帐户元数据等特征，尽管可以轻松地将其他可用特征合并到该方法中。对于任何社交网络来说，基本输入都是最容易获得的。此外，我们对协调行动做出的唯一假设是：

        与正常账户相比，协调账户的数量相当少(即，集体异常)。

        协调用户具有高度协调的活动模式

        隐藏账户组： 在真实的社会网络中，具有类似活动的账户形成社会群体，既可以构成正常的社区，也可以构成协调的群体。

假设在账户集合U中有N个组。我们可以定义一个成员关系函数:  : → {1, · · · , } ，它将每个帐户映射到它的组索引。这种成员关系在许多情况下是隐藏的或未知的[3]。获取M可以帮助我们识别集体异常群体行为来检测协调群体。在这项工作中，我们的目标是从观察到的活动痕迹中学习隐藏的群体。

3.2 时间点处理

         时间点过程（TPP）是一个随机过程，其实现是连续时间 中的一系列离散事件[5]。截至时间序列中事件的历史通常表示为  其中 U 表示事件类型的集合（此处为帐户）。点过程的条件强度函数 被定义为给定历史的无限小窗口中事件的瞬时速率，即  其中 N(t)是截至时间的事件数。第 i个 事件的条件密度函数可以从条件强度 [6] 导出为

         在社交网络数据中，广泛使用的条件强度公式是多元霍克斯过程（HP）[32]，定义为 ，其中是条件强度基本强度 0 且相互触发强度  时的事件类型捕获事件类型的影响，并且是一个衰减内核，用于模拟影响随时间的衰减。和 是可学习的参数。由于 HP 的固定公式和很少的可学习参数限制了其表达能力，最近的工作提出用神经网络对强度函数进行建模 [6,14,16,22,31,33]。

 4协调检测方法

         为了捕获账户活动与协调群体的集体行为之间的潜在影响，以及此类账户协调活动的多样性，我们引入了所提出的模型 AMDN-HAGE。

        AMDN-HAGE 由两个组件组成：一个将观察到的活动轨迹建模为时间点过程的注意力混合密度网络（AMDN）和一个将帐户组建模为多个分布的混合的隐藏帐户组估计（HAGE）组件。概述如图 2 所示。

 (图 2：提议的 (AMDN-HAGE) 架构，用于对社交媒体上帐户活动和隐藏群体的条件密度函数进行建模。)

        这两个组件共享帐户嵌入层，反映了帐户首先从多个隐藏组中提取，然后相互交互以观察活动痕迹的完整生成过程。利用观察到的活动轨迹，我们可以通过最大化联合模型的似然函数来学习生成模型，不仅获得帐户嵌入，还获得活动轨迹模型和组成员函数。将账户嵌入表示为E ，AMDN 中的参数为 ，HAGE 中的参数为 ，联合似然函数可以写为：

         是在给定已知帐户集的情况下观察到活动痕迹的概率密度，是我们观察从潜在的隐藏社会群体中提取的帐户集的概率密度。通过账户嵌入和学习到的成员资格，我们获得集体异常组作为潜在组，其异常分布与其余账户相比具有较小的方差或大小，以检测协调。

 4.1 账户活动建模

         在本节中，我们介绍 AMDN 组件（注意力混合密度网络）来对帐户活动进行建模以进行协调检测。 AMDN 由两部分组成：历史编码器和事件解码器。假设我们对活动 进行建模，历史编码器将之前发生的所有活动表示为向量。然后，事件解码器（即条件密度函数）根据历史表示和已知账户集预测。该编码器-解码器架构对活动进行建模，可能性  因式分解为：

 我们在以下段落中提供架构详细信息.

4.1.1 AMDN 架构和训练。

        在表1中，我们总结了现有的点过程模型（详见附录）；这些模型存在不同的缺点，需要在灵活的强度函数（更好的表达能力）、封闭形式的可能性（减少训练中的梯度噪声）和可解释的影响（事件对的显式影响得分）之间进行权衡。对于协调账户建模，以上属性都很有用.

        因此，我们开发了AMDN，它具有所有上述属性。我们使用屏蔽自注意力[23]（使用额外的时间编码来处理不规则的事件间时间）来对事件历史进行编码，以实现过去和未来事件之间可解释的影响（替代[22]中使用的循环神经网络） ，但仍然使用对数正态混合分布作为事件解码器来对给定历史的下一个事件的条件密度进行建模（类似于[22]），实现所有属性.

         使用屏蔽自注意力对事件序列进行编码。令  表示事件间时间， 表示条件密度。历史使用神经网络进行编码，以自动提取有用的特征，类似于其他神经点过程模型.

        带位置编码的屏蔽自注意力。为了可解释过去事件对未来事件的影响，我们用屏蔽自注意力对事件序列进行编码[23].

         具有来自先前事件的成对影响的屏蔽注意力权重A，输入序列表示 （序列长度，特征维度），以及可学习权重 。最后，我们应用层归一化、dropout 和前馈层来获得输出。为了保持历史事件的顺序，我们将第 i-th 事件的位置信息表示为 m-dim 位置编码 ，并使用下面的三角积分函数[23]。

         帐户和时间编码。我们还使用可学习的账户嵌入矩阵 来表示账户类型和时间 和平移不变的时间核函数[26]，使用具有不同频率的多个周期函数的特征映射来嵌入事件间时间

         第i个 事件  的输入（到注意力头）是事件、位置和时间嵌入的串联，        

         事件历史上下文向量。注意力机制使用对之前事件的注意力来为我们提供每个事件的表示。我们可以使用最后一个事件的表示或注意力输出  上的循环网络层将事件历史总结为上下文向量 ，其中L是事件序列长度。每个  都是一个上下文向量，编码事件的历史到，即时间点过程的历史。

         条件概率密度函数。通过编码的事件历史记录（上下文向量），事件解码器（可学习的条件密度函数）用于生成以历史记录为条件的下一个事件时间的分布。

         虽然我们可以为  选择任何函数形式，但唯一的条件是它应该是一个有效的 PDF（非负数，并且在  上积分为 1）。为了维持有效的 PDF，点过程模型中通常使用指数分布或具有可学习参数的其他分布 [6,22,32].我们将PDF定义为对数正态分布的混合，因为 的域是非负的(如[22])，并且混合分布可以任意地近似R上的任何密度[22]，而不限于指数函数或其他单调函数。条件PDF定义为:

         其中混合权重、均值和标准差由提取的上下文历史和可学习的V b参数化。

         编码器-解码器参数（联合表示为 ）和可学习的帐户嵌入（E）可以使用最大似然估计（对于方程 3 中定义的对数似然）从观察到的活动序列和帐户集进行学习，并使用梯度回训练- 传播为。

 4.2 隐藏组建模

         为了根据观察到的活动轨迹对隐藏的社交群体进行建模，我们将隐藏的账户群体建模为账户嵌入空间中高斯多元分布（GMM）的混合。

         形式上，第i-个社会群体被建模为高斯分布 ，其中 是聚类均值，Σ_i 是协方差矩阵。由于帐户的组成员身份未知，我们假设帐户嵌入是从混合中提取的，帐户的嵌入分布为，其中 p(i)表示组i 的先验概率。

         隐藏组估计：与一般高斯混合模型的一个显着区别是，与过度观察的变量相比，我们在可学习的帐户嵌入（潜在空间）上定义 GMM。因此，AMDN-HAGE 的优化和学习需要双层优化来共同学习模型参数和账户嵌入（如下一节所述）。

        这里提出的模型旨在从活动痕迹中捕获潜在或隐藏的群体，而不是从观察到的帐户特征中捕获。这是因为协调模式（例如，协调账户的活动可能会相互强烈影响）保留在活动痕迹中，并提供有关其集体行为的信息，从而能够识别协调的隐藏群体。

         为了对协调账户和正常账户的不同组进行建模，我们对所有组使用了并列协方差 Σ。将 GMM 的参数（均值、共享协方差和先验）表示为 ，帐户上的社会群体U建模的对数似然为：

 4.3 共同学习

         对于联合学习，我们最大化以下对数似然:

         上述损失函数有一个简单的无限渐近解，其中所有嵌入向量等于簇的平均值并且 det(Σ) = 0。为了避免这种解，我们将 det(Σ) 限制为大于一个小的常数 ，下界为损失函数。

         对数似然（方程 11）是参数  的函数。其中，第二项（共享潜在嵌入的高斯混合）的优化是一个约束优化问题。因此，直接使用随机梯度下降（SGD）或其变体（如 ADAM）优化联合似然不考虑混合权重（归一化非负）和协方差（正定）的约束，导致训练中的对数似然无效（消融） ADAM 损失的研究在扩展部分）。为了解决上述缺点，我们提供了等效的双层优化公式来解决联合学习问题.

         上述双层优化可以通过迭代优化来解决。在每次迭代中，我们首先冻结E 和 ，然后用 EM 算法进行估计。之后，我们冻结并使用 SGD（或其变体）来优化E 和 。由于潜在嵌入的对数似然在第二项（方程 11）中进行了优化，因此我们需要通过预训练E 和 来初始化嵌入，并在联合优化这两项之前通过最大化目标函数中的第一项来对观察到的序列进行初始化。具体算法见算法1。

         这种交替优化算法的普遍关注点是其收敛性。因此，我们给出以下理论保证，即通过适当选择基于梯度的优化器（将 表示为负对数似然（损失函数），所提出的算法使模型至少收敛于局部最小值或鞍点） ）。

         定理 1 如果在任何迭代中神经网络优化器满足以下条件，我们提出的优化算法将收敛于局部最小值或鞍点：

         证明可以在附录中找到。理论上，当我们的损失函数是L-smooth并且我们应用学习率低于1的标准梯度下降算法时，这两个条件就可以得到保证[15]。但在实践中，由于找到严格的局部最小值并不像训练速度和泛化那么重要，因此我们可以选择应用 Adam 或其他变体

5 实验结果

        我们验证了所提出的方法 AMDN-HAGE 和训练算法在从 Twitter 收集的与俄罗斯互联网研究机构协调账户相关的真实数据集上的有效性，以及在 COVID-19 中识别和分析协调的有效性。我们提供数据收集、基线和模型变体。实施和实验设置的详细信息见附录

5.1 Data Collection

5.1.1 俄罗斯互联网研究局（IRA）协调行动

        2752 个 Twitter 账户被美国国会认定为由俄罗斯机构（称为“巨魔农场”）运营的协调账户，旨在操纵 2016 年美国大选。这些账户子集的社交媒体帖子（活动）是可用的学术界通过付费的Twitter API访问来研究协调账户检测[2, 12]。我们从Luceri等人那里获得了收集的数据集，其中包含312个俄罗斯协调账户（称为协调“巨魔”）他们的 120 万条推文，还包括 1713 个参与美国大选讨论的普通账户，在此期间协调的巨魔很活跃（使用 Twitter API 根据选举相关关键词收集）；收集的数据集中的帐户是活跃帐户，至少有 20 条主动和被动推文 3 [12]。

        活动痕迹：活动痕迹是根据推文构建的，因为任何帐户的帖子和其他帐户的后续参与（转发、回复帖子）形成了按时间排序的活动序列。利用账户集（2025 个账户）和活动轨迹来训练 AMDN-HAGE，并保留 15% 的序列子集作为模型的验证损失。

5.1.2 COVID-19 大流行。

        出于对围绕 COVID-19 的虚假信息和社交媒体滥用的担忧，我们在 2020 年 3 月 1 日至 7 月 22 日期间使用 Twitter 的流媒体 API 服务收集了与 COVID-19 相关的关键词的社交媒体帖子。 119,298 个活跃账户，至少有 20 条主动和被动收集的推文(主动推文是帐户发帖（推文、转发、回复）的地方，被动推文是帐户被提及、转发或回复的地方 [12)，以及它们的 1390 万条推文。

        未知协调：与 IRA 数据集不同，COVID-19 数据没有任何标记的协调组。但重要的是要检查我们是否能发现任何未知的协同运动。我们在完整的 119k 帐户集上运行 AMDN-HAGE，其活动轨迹与 IRA 数据集相同，并检查来自已识别协调组的推文，以及帐户与暂停的 Twitter 帐户（因违反平台政策而被 Twitter 手动暂停）的重叠。可能存在尚未被 Twitter 发现并暂停的违规帐户。此外，帐户被暂停可能是由于各种原因（例如垃圾邮件、自动化、多个帐户），但 Twitter 暂停不仅限于协调帐户。因此，我们不能使用 Twitter 暂停来估计协调检测的精确召回率。

5.2 基线和模型变体

        我们与利用账户活动来识别协调账户的现有方法进行比较。

        基线 - 从账户活动中提取协调特征，并将其用于基于个人或集体行为的监督或无监督协调检测。

        （1）无监督基线：协同活动聚类[18]和点击流聚类[24]基于预定义的活动特征。协同活动对内容共享中的联合活动进行建模，点击流聚类对发帖、转发和回复操作中的模式进行建模。 SOTA 方法是基于逆强化学习的 IRL [12]，从活动痕迹中提取特征，用于聚类协调帐户。

        (2) 监督基线：IRL(S) [12] 是逆强化方法的 sota 监督变体，它根据从活动轨迹（带有标记的帐户子集）中提取的特征来训练监督分类器。

        我们使用 HP（Hawkes Process）[32] 添加另一个基线，以从活动跟踪中无监督地学习帐户特征。 HP(S) 是监督变体。 HP 使用附加函数对帐户之间的影响进行建模。该基线作为所提出模型的消融，以表明协调群体的潜在影响和交互模式更加复杂，神经点过程可以更好地提取这些协调特征。

        为了消除所提出的模型 AMDN-HAGE 的不同组成部分，我们还与 (i) AMDN（无隐藏组估计）进行比较，后者仅学习活动轨迹模型；我们可以用它来提取帐户嵌入并使用 GMM 或 KMeans 进行聚类，以将协调组识别为异常组。

         (ii) AMDN-HAGE 直接使用联合学习的 GMM 来输出组成员资格。 AMDN-HAGE + Kmeans 相反，使用 AMDN-HAGE 的帐户嵌入和 KMeans 聚类来查找异常协调组。

        （iii）为了与监督设置（IRL（S）[12]）进行比较，我们类似地在提取的特征上训练分类器，即学习帐户嵌入来检测协调帐户（假设标记的协调帐户和正常帐户的子集可用于训练） ）。这些变体是 AMDN + NN 和 AMDN-HAGE + NN，它们对从 AMDN 和 AMDN-HAGE 分别提取的嵌入使用两层 MLP 分类器。

 5.3 协调检测结果

        IRA 数据集上的检测结果：我们评估两种设置 - 无监督和监督（如早期工作 [12]）。在这两种情况下，所提出的模型都经过活动跟踪的无监督训练，以获得组成员资格和帐户嵌入。

        在无监督情况下，直接使用群组成员身份来报告异常协调群组。

        在监督中，学习到的嵌入被用作训练分类器的特征（以根据正常帐户预测协调）。

        分类器在 IRA 数据集中标记的协调帐户和正常帐户的子集上进行训练，其余部分（按 5 倍分层的 20%）保留用于评估。表 2 提供了针对 IRA 数据集中标记的正常帐户和协调帐户的 5 倍分层交叉验证平均基线的模型评估结果，超过五个随机种子。

        我们比较平均精度 (AP)、ROC 曲线下面积 (AUC)、F1、精度、召回率和 0.5 阈值的 MacroF1，以及最大化阈值的 maxF1。 AMDN-HAGE 在无监督和监督设置上都优于其他方法，因为它能够通过学习潜在影响和隐藏群体行为来捕获不同帐户行为的协调特征，而无需预先指定其他基线所依赖的特征。

         此外，与 IRL 和 IRL(S) [12] 不同，用所提出的方法学习到的协调特征对于无监督或有监督设置具有鲁棒性（尽管 IRL(S) 可以学习有用的特征，但在无监督设置中表现不佳）。相比之下，由于 AMDN-HAGE 模拟了更内在的协调行为，因此它可以提取能够以无监督方式有效识别异常协调群体的模式。在无监督环境中，边缘比在监督环境中更大，在监督环境中，群体行为更重要，因为没有已知的协调帐户集来根据提取的特征来训练分类器。

        所提出的模型和训练的消融：除了基线之外，我们还将 AMDN-HAGE 与其变体进行比较，以验证联合学习和优化算法的重要性。为了验证联合学习的重要性，在表2中，AMDN-HAGE与AMDN进行了比较，AMDN只学习​​活动轨迹模型，没有隐藏组估计。提出的模型 AMDN-HAGE 始终捕捉到更好的协调行为，这表明联合建模群体或集体行为比仅通过观察到的活动跟踪建模来建模帐户对之间的潜在影响更有用。

        为了证明双层训练算法的有效性，我们在训练过程中呈现了验证损失（保留 15% 的活动轨迹的负对数似然），比较使用 Adam（SGD 的变体）对联合对数似然的直接优化）和图3中我们提出的双层算法。正如我们所看到的，对于所提出的优化，预训练和联合训练阶段验证集上的损失都下降并最终收敛。然而，在 Adam 的直接优化中，验证损失会减少到一个点，但当它达到无效参数点时就会中断。在没有约束的情况下，Adam 得到的协方差矩阵不是正定的，并且是无效的对数似然 (NaN)。

5.4协调检测分析

5.4.1 从影响结构中揭示特征行为

        在本节中，我们研究 AMDN-HAGE 对 IRA 数据的潜在影响结构和账户交互。观察到的痕迹中的帐户活动之间的潜在影响由模型的可解释注意力权重捕获。事件（账户活动）对历史事件（任何账户的早期活动）给予的关注度越高，表明历史事件对所考虑的未来事件有更强的触发影响。

5.4.2 发现 COVID-19 数据中的协调群体

        如前所述，收集的有关 COVID-19 的数据不包含一组真实的标记协调账户。但是，我们可以使用所提出的方法 AMDN-HAGE 通过特征分析来发现任何可疑的协调帐户。 AMDN-HAGE 针对 119K 个账户的 COVID-19 数据中观察到的账户活动进行了训练。该方法识别两个异常帐户集群（基于附录中提供的聚类轮廓分数）。我们检查每个帐户组中的特征分布。

        在表 3 中，我们比较了被暂停的 Twitter 帐户的分布。 Twitter 另外将一些暂停的帐户标记为国家支持的帐户，即 Twitter 发现与国家资助的业务相关的帐户（例如来自俄罗斯等试图干涉其他国家政治的帐户）[8]。此外，我们还考虑收集到的数据中与 Twitter 国家支持的账户双向互动的“耦合”账户，以及国家支持账户在推文中提到（或瞄准）的账户。 

        在所有 119k 个账户中，Twitter 账户的分布（已暂停，国家支持的，耦合的)是1.5-2倍之间高于随机机会在确定的异常集群，即使这样的帐户被发现，从大集合的帐户是小数目。对于 Target 来说，这种分布更加统一，因为与 Couple 不同的目标账户只捕获了国家支持账户的单向参与尝试，这是可以预期的，因为国家支持账户试图操纵，从而提到或参与其他正常账户

         在图 6 中，我们在组中帐户发布的推文中找到最常见的主题标签，并绘制每个组特有的顶级主题标签（附录中提供了较小异常簇的主题标签）。我们发现协调组中突出的前一百个标签宣传反口罩和反疫苗（“No-Masks”、“NoVaccine”、“NoALaVacuna”）和反科学理论（“Plandemic”、“Covid-Hoax” ”），并包含与臭名昭著的极右阴谋组织“QAnon”（“WWG1WGA”）相关的主题标签。

        在表 4 中，我们使用主题建模来查找异常帐户发布的最具代表性的虚假信息推文。我们发现了 4 个主题集群在与低可信度（虚假信息）新闻来源相关的推文中。该表显示了最接近主题集群中心的推文。主题标签和主题中的叙述表明西班牙语和英语推文的大量存在（NoALaMascarillaObligatori、NoALaVacuna） 、NoAlNuevoOrdenMundia、NoVaccine）关于没有新的世界秩序、没有口罩、没有疫苗和 QAnon，所有这些都反对比尔盖茨，并暗示 COVID-19 是一个骗局和深层国家或政治骗局，旨在通过疫苗货币化。

         在这项工作中，我们提出了一种技术，可以根据帐户的集体行为来检测协调帐户，直接从他们在社交媒体上的活动推断出来。所提出的方法独立于语言、元数据或平台特定功能，因此可以跨平台、语言或虚假信息活动发起的国家/地区进行推广。这些特征也可以很容易地合并到所提出的模型中。

        通过对俄罗斯干扰和 COVID-19 数据集的分析，我们调查了已识别的协调账户的行为，发现协调账户之间的影响力更高，并且随着时间的推移，协调账户对之间的影响力比非协调账户对之间的影响力下降得更快。在 COVID-19 数据中，我们识别了协调组，分析表明协调组中的主要叙述是 COVID-19 是一个骗局和政治骗局，其中有反疫苗、反口罩的社交媒体帖子