论文阅读 - DeepSBD: A Deep Neural Network Model with Attention Mechanism for Social Bot Detection - CCFA

论文链接：http://www.abulaish.com/uploads/TIFS21.pdf

目录

摘要

1 绪论

1.1  OSN和Socialbots

1.2 背景和动机

1.3我们的贡献

2 RELATED WORK

2.1 基于特征工程的Socialbot检测

2.2 基于图划分的Socialbot检测

2.3 基于行为建模的Socialbot检测

2.4 基于深度学习的社会机器人检测

3 预备知识

3.1 长期短期记忆

3.2卷积神经网络

3.3 注意机制

 3.4单词嵌入

4 论文提出的方法

 4.1 输入层

4.2 低级特征表示层

4.2.1 配置文件表示法

4.2.2时间行为表示

昼夜行为表征

 周期性行为表示

4.2.3 活动序列行为表示 

 4.2.4 内容行为表示

 4.2.5 低级注意力

 4.3 用户表示层

 4.4输出层(机器人分类层)

 5 实验和结果

5.1 数据集预处理

 5.2 训练详情

 5.3 绩效评估结果

 5.4 比较性能评估

5.4.1 基于深度学习方法的比较评价

5.4.2 与最先进工具的比较评估

5.4.3 与基于最新特征工程方法的比较评估

 5.5 社交机器人和良性用户的比例不同

 5.6 行为消融分析

5.7 训练时间分析

6 CONCLUSION AND FUTURE WORK

---

摘要

背景介绍：

        在线社交网络 (osn) 正在目睹复杂的网络威胁，这些威胁通常使用伪造或受到攻击的个人资料进行。

        自动化代理 (又名socialbots) 是一类复杂的现代威胁实体，是社交媒体平台的原生生物，负责各种现代武器化的信息相关攻击，如占星、错误信息传播和垃圾邮件。

        检测社交机器人是一项具有挑战性且至关重要的任务，因为它们具有模仿人类行为的欺骗性。

本文方法介绍：

        为此，本文提出了一种注意力感知的深度神经网络模型DeepSBD，用于检测OSNs上的社交机器人。

        DeepSBD使用配置文件、时间、活动和内容信息对用户的行为进行建模。

        它使用双向长短期记忆 (BiLSTM) 和卷积神经网络 (CNN) 体系结构联合建模OSN用户的行为。

        它将配置文件，时间和活动信息建模为序列，这些序列被馈送到两层堆叠的BiLSTM，而内容信息则被馈送到深度CNN。

实验效果：

        我们已经在五个真实世界的基准数据集上评估了DeepSBD，发现与最新技术和基线方法相比，它的性能明显更好。

        我们还分析了DeepSBD在社交机器人和良性用户的不同比例下的功效，发现不平衡的数据集会适度影响分类准确性。

        最后，我们分析了不同行为成分的辨别能力，发现配置文件特征和内容行为的影响最大，而昼夜时间行为对检测osn上的社交机器人的效果最差。

1 绪论

        基于Web2.0的在线社交网络(OSN)是21世纪最具影响力的人类创新之一，它帮助用户表达对时事和个人生活的看法和想法，与朋友和名人联系，并获得最新的突发新闻。OSN以实时信息广播的形式彻底改变了人类通信的范围和体验。世界上很大一部分人口正在使用OSN(https://www.statista.com/statistics/278414/number-of-worldwide-social-network-users/)。尽管存在数百个OSN，但Twitter和Facebook是全球最受欢迎的OSN之一.

1.1  OSN和Socialbots

背景介绍：

        OSN在连接、信息共享、知识获取和娱乐方面为用户提供便利，但这些并不是没有任何影响。OSN的实时消息广播、庞大的用户基础、开放的性质和匿名性，使其成为适合于攻击、占星术、垃圾邮件和假新闻等各种恶意活动的平台。恶意和反社会分子通常使用机器人、人工辅助电子人、Sybil和泄露账户等形式的虚假档案来执行此类活动。

        最近，OSN平台目睹了新出现的威胁，与垃圾邮件，DDoS攻击和身份盗窃等经典的网络威胁相比，产生了严重的影响要复杂得多。在特定于OSN的威胁中，自动配置文件 (又名socialbots) 是高级非法活动 (如政治占星术) 的主要推动者之一 [1]。在一项开创性的工作中，Varol等人。[2] 估计大约9-15% 的Twitter帐户是机器人。尽管对手可以为良性和恶意目标编程社交机器人，但最近发生的事件如干涉2016美国总统选举、英国退欧公投 [1] 、阿拉伯之春 [3] 将它们打上了魔鬼的烙印。社交机器人具有很强的欺骗性; 他们模仿人类行为来获得对OSN的信任，然后将其用于非法活动 [4]。

        因此，研究人员正在分析社交机器人的不同恶意方面 [5]。为了应对这种日益增长的威胁，osn正在制定帐户管理策略并开发内部socialbot检测方法。OSN平台会定期执行清洁驱动器以暂停恶意帐户。在这样的推动下，在俄罗斯干预2016美国总统选举后，Twitter暂停了大约7000万个帐户(https://gadgets.ndtv.com/social-networking/news/twitter-said-to-have-suspended-58-million-accounts-in-q4-2017-1885193)。因此，所有这些信息和报告都表明，社交机器人对OSN平台的结构和话语产生了前所未有的非法影响。

1.2 背景和动机

        除了osn之外，学术界和行业研究人员也在努力解码socialbots的工作环境，以开发有效的检测方法。

        随着方法的成熟，Botherder会调整社交机器人的行为，以绕过底层的检测方法。在现有的文献中，基于监督机器学习的方法是最流行的，其中作者根据不同类别的信息设计了许多手工制作的特征，如个人资料、内容、网络和元数据。

前人研究：

机器学习：

        此外，还训练了机器学习模型，对机器人和良性用户 [6] 、 [7] 、 [8] 进行分类。在现有的一组功能中，大多数功能相对容易通过人工辅助创建配置文件属性并使用复杂的随机算法调度socialbot活动来逃脱。bot帐户通常是人工辅助的，将行为模式与良性帐户混合在一起，以绕过复杂的特征。

        现有的最先进的基于特征工程的方法存在三个主要问题- (i) 特征工程过程是一项手动且耗时的任务，(ii) 它不是通用的，因为基于功能工程的系统只能检测由定义的特征建模的特定类别的社交机器人，最后 (iii) 它包括人类的偏见和限制。此外，基于特征的分类系统的功效取决于定义的特征集。因此，如果特征质量较低，则分类系统的性能将自动降低。

图分类：

        第二类包括基于图分类的方法，用于检测以协调方式运行的社交机器人组。基于图分类的方法将用户交互/连接形成行为建模为网络，并使用图挖掘技术将其划分为内聚子图。

        问题：这些方法通常仅考虑利用网络信息的社交机器人的连接形成行为，但错过了嵌入在文本，时间和配置文件信息中的自动化提示。因此，这些方法无法检测到以某种方式成功地与普通用户创建了足够的攻击边缘 (链接) 的socialbots。尽管基于图分类的方法克服了基于特征工程的方法的局限性，但它们并未集成来自不同类别信息的提示。

行为和节奏：

        此外，现有文献还提供了基于行为和节奏建模的社交机器人检测方法 [9]，[10]，[11]，[12]。虽然这些方法是独立的基于特征工程的方法的限制，他们只使用一种行为，时间 [10]，[11]，[12]，帖子类型 [9]，或一些其他信息的用户模型。

        问题：因此，特定的行为建模方法只能检测特定类别的社交机器人。因此，基于行为建模的方法并不适用于检测不同类型的社交机器人; 相反，它们根据用于对用户进行建模的信息类型来检测特定类别。

神经网络：

        神经网络在其他类型的方法普遍存在的各种应用中显示出适用性。同样，为了克服现有方法类别的局限性，研究人员正在利用深度神经网络的进步来检测社交机器人。然而，除了像 [13]，[14]，[15] 中报道的那样的方法很少，它在很大程度上是未被探索的。基于深度学习的模型解决了基于特征工程方法的局限性，因为它们不使用手动和手工制作的特征工程，因此它们不包括人为偏见。此外，如果我们向深度神经网络提供不同类型的信息，它将从每种信息类别中提取模式。与

        问题：行为建模和图分区方法一样，现有的深度学习方法也没有采用用户行为的所有方面来对自动化进行建模。例如，[14] 仅使用配置文件信息; 因此，制造者可以通过手动创建配置文件轻松地规避它。另一方面，[13]，[15] 使用时间和内容信息，忽略了配置文件，活动类型和活动间信息。因此，这些方法只能检测特定类别的社交机器人。此外，现有的深度学习方法都没有在学习用户表示时使用分层注意力机制的优势。

本文研究：

        本研究试图通过整合通过使用BiLSTM，CNN和基于层次注意力的模型提取的一组全面的概况，时间，活动和内容信息中的线索来填补这些研究空白并为OSN用户建模。

1.3我们的贡献

        本文提出了BiLSTM，CNN和基于注意力的深度神经网络模型DeepSBD，用于分析用户以检测osn上的社交机器人。

        据我们所知，这是第一种基于深度学习的方法，它联合对一组全面的配置文件、时间、活动和内容信息进行建模，用于用户行为表示。

        DeepSBD具有三个层次的新颖性：

         (i) 它避免了人类辅助特征工程的繁琐任务，并使用BiLSTM和CNN从基于向量的配置文件，时间和活动信息表示以及基于嵌入的内容信息表示中提取特征，分别在两个不同的粒度级别上，

        (ii) 与仅使用一种行为的现有行为建模方法不同，DeepSBD通过从配置文件，时间，活动和内容信息的全面集合中引入线索来建模用户行为，

        (iii) DeepSBD通过使用新颖的基于层次注意力的CNN-BiLSTM体系结构来识别用户行为的规律性来学习用户表示。

前人研究局限性

        现有的用于socialbot检测的深度学习方法解决了基于功能工程的方法的局限性。但是，他们没有对用户的所有不同行为进行建模，而忽略了对手可以为各种目的设计社交机器人的事实。此外，现有的深度学习方法都没有使用BiLSTM和attention机制，这些机制是通过合并双向上下文信息来学习表示的最新技术。

本文方法不同特征设计的功能

        DeepSBD背后的主要思想是学习用户个性的每个行为方面的上下文表示。

        为此，DeepSBD使用其基本配置文件属性对用户的个性进行建模，从而使其能够监视和检测通过自动化工具创建的机器人；

        DeepSBD对用户的时间行为进行建模，以捕获其推文的时间中的昼夜和周期性模式。时间建模可以检测基于调度算法的操作机器人；

        在Twitter上，用户可以发布普通推文、转发推文、引用推文和回复。我们将用户的推文发布行为编码为这四种类型的推文序列，以检测被编程为执行特定活动模式的社交机器人。

        此外，使用嵌入向量对tweet内容进行编码，以跟踪用户生成内容中的一致性。最后，将所有行为向量融合到一个新颖且统一的基于层次注意力的CNN-BiLSTM模型中，以学习不同的用户行为代表。

        简而言之，本文的主要贡献可以总结如下:

        • 开发了一种新颖的基于CNN和BiLSTM的具有注意机制的深度神经网络模型DeepSBD，该模型整合了特征工程，行为建模，和深度神经网络以统一的方式进行socialbot检测；

        • 通过对配置文件、时间、活动、和内容信息使用注意力机制DeepSBD模型；

        • 用不同类别的七种最先进的社会机器人保护方法对DeepSBD进行详细的实证评估；

        • 探索最常用的数据平衡方法，SMOTE (合成少数超采样技术)，判断DeepSBD对不平衡数据集的有效性。

2 RELATED WORK

        Boshmaf等人[4] 将socialbot检测方法分为两类-基于机器学习和基于图分区的方法。Ferrara等[16] 详细介绍了社交机器人，并讨论了它们作为促进实体在不同osn上的各种恶意活动中的作用。

        作者进一步将现有的socialbot检测方法分为四类- (i) 基于图的，(ii) 基于众包的，(iii) 基于特征工程的，以及 (iv) 混合方法。

        由于基于众包的方法是手动的、不可扩展的和不可行的，因此它们没有得到足够的关注；

        基于基础方法，本研究将社会机器人检测方法分为四类- (i) 特征工程，(ii) 图划分，(iii) 行为建模，以及 (iv) 基于深度学习的方法，在以下小节中进行了简要回顾。

2.1 基于特征工程的Socialbot检测

        在这一类方法中，研究人员从用户配置文件，连接网络和文本内容中设计出手工制作的功能，并且机器学习模型是通过标记的训练数据集进行训练的。在早期的机器人检测方法 [17] 中，研究人员使用不同类别的简单和直接的特征训练了机器学习模型[8]，[18] 中的作者提取了基于配置文件，内容和交互的新颖功能，以训练机器学习模型以将垃圾邮件机器人与良性用户隔离。作者还进行了特征消融分析。Yang等 [19] 分析了socialbots规避现有检测方法的规避策略。基于分析观察，他们设计了难以逃避的健壮特征。OSN服务提供商也开发了自己的对抗性检测方法;例如，Facebook有Facebook免疫系统，它监视数据库上的每一个读写操作，并将其标记为恶意或良性操作。

1.  Dickerson等人 [20] 首次利用情感驱动的特征以及内容，网络和语言特征来训练socialbot分类系统；
2. 在最有效和最流行的方法之一中，Devis等人 [6] 设计了1000多种功能，包括简单到复杂的功能，以训练随机森林分类器，将OSN用户标记为socialbot或良性。
3.  现有的大多数基于特征工程的方法都基于用户的属性来表征用户，但忽略了他们的连接用户和相关社区。Fazil和Abulaish [7]，[21] 根据用户的属性，追随者的属性和追随者网络中的社区，使用四类特征对用户进行了分类。随着检测方法的成熟，socialbots也不断发展以绕过检测系统。Socialbots可以通过根据检测系统的定义特征操纵其行为来轻松规避基于特征工程的分类系统。手工制作功能也是一项耗时乏味的任务。

2.2 基于图划分的Socialbot检测

        在基于图分区的方法中，OSN用户的连接网络被建模为图G(V，E)，其中V中的节点代表OSN用户，而E 属于 V × V中的边代表他们的关系。在这类方法中，将图形划分为伪造的和真实的区域，以隔离良性和恶意用户。

        假和良性用户之间的联系称为渗透或攻击边缘。基于图分区的方法假设sybils或socialbots无法与良性用户建立足够的连接，研究人员利用这种直觉对连接网络进行建模和分区。

1. Viswanath等人[22] 利用最先进的社区检测算法来划分恶意和良性用户的内聚群体；
2.  Wang等[23] 提出了点击流模型来聚类sybil和良性区域。作者首先分析了sybil和良性用户之间的点击转移概率，然后根据用户的点击流数据创建了用户的活动序列。接下来，基于每对用户的活动序列之间的相似性创建相似性矩阵。最后，他们在相似性矩阵上应用了聚类技术来找到sybil和非sybil区域；
3. 在 [24] 中，作者首先对socialbot注射实验进行了分析。他们将OSN用户建模为图，并应用马尔可夫聚类来识别恶意组；

2.3 基于行为建模的Socialbot检测

        研究人员还使用序列和统计分析对检测社交机器人的用户活动进行了行为建模。                

1. 张某等人[12]对推特次数进行统计分析，并使用皮尔逊卡方检验检测自动账户。他们使用基于推文时间的秒数和小时数分布的可视化方法来评估用户账户的自动化程度。推文时间对社交机器人保护的功效在于，社交机器人通常是使用某些调度算法激活的。
2. Pan等人[11]提出了另一种将社交机器人和普通用户分组的时间方法。他们提出了一个突发性参数来观察用户在短时间内的活动行为。
3.  Chavoshi等人[10]将用户活动序列建模为活动时间序列数据，并应用动态时间规整来检测考虑其活动的一组同步用户。作者首先构建了每个用户的活动时间序列，并使用滞后敏感散列技术将其散列到多个桶中。
4. 克雷西等人[9]提出了一种受生物DNA启发的方法，将用户的推文、转发和回复活动编码为数字DNA。在构建的数字DNA上，他们应用最长公共子序列分析来检测一组用户之间的同步行为。

2.4 基于深度学习的社会机器人检测

        在这种方法的第一种方法中，Cai等人 [13] 共同建模了用于检测社交机器人的用户的时间和文本信息；

1. Ping等人 [15] 提出了另一种基于深度学习的模型，用于根据用户的时间，内容和其他信息 (例如标签，url和提及) 使用用户的联合建模来检测社交机器人。但是，这两种方法不包含有关活动类型的任何信息，例如用户执行的推文，转发或回复。此外，他们既没有使用配置文件信息，也没有在连续推文之间的时间间隔序列中使用同步。
2. 在另一种方法中，[14] 的作者仅将配置文件信息与SMOTE一起用于检测社交机器人。
3.  最近，Wu等人 [25] 提出了一种主动学习和基于深度学习的社交机器人检测方法。他们使用主动学习扩展了带标签的数据集，并提出了一组30种手工制作的功能用于用户表示。这些功能通过关注的剩余和BiGRU网络进行分类。然而，由于最初使用手工制作的特征进行用户代表，[25] 受到基于特征工程的方法的限制。

3 预备知识

3.1 长期短期记忆

        递归神经网络 (rnn) 是一种人工神经网络，用于处理顺序数据以对时间动态行为进行建模。RNN由递归hidden状态组成，其值取决于先前的状态。长期短期记忆 (LSTM) 是RNN的一种类型，它包含存储块而不是自连接的隐藏单元。因此，LSTM解决了消失的梯度问题。在LSTM中，存储块由存储单元组成，这些存储单元使神经网络智能地决定要记住什么和忘记什么，从而使其能够学习远程上下文信息。早期的LSTM单元由三个组件组成，即输入门，输出门和单元状态。后来，Gers等人 [26] 增加了另一个组件，称为忘记门。现在，标准LSTM单元由四个组件组成。时间t的输入门，it，通过逐点加法来控制单元格中的值流，以将单元格状态更新为新值。使用等式1将更新的信息写入单元状态。

3.2卷积神经网络

        卷积神经网络 (CNN) 是一类人工神经网络，用于处理以网格格式组织的数据，例如以矩阵形式组织的图像和文本。经典的CNN通常由两层组成-卷积和池化。卷积层使用线性数学运算 (称为卷积) 从输入表格数据中提取高级特征图，而池化层则应用池化操作从特征图中提取重要特征。尽管CNN最初是为处理im- ages而开发的，但由于其强大的特征提取功能，现在已广泛用于各种自然语言处理和文本分类任务。

3.3 注意机制

        注意力意味着专注于一个或多个组件，而忽略其他组件。专注于特定单元使机器学习模型更加智能。通常，基于神经网络的分类系统将数据建模为包括低级特征的数字向量，其中，所有特征都被分配相同的权重，而不管其概念化数据的潜力如何。使用注意机制解决了对所有特征的等相关性分配问题，该机制根据不同特征的重要性为其分配可变权重。注意力机制可以应用于不同的粒度级别，例如单词，短语和句子 [28]。此外，注意机制使神经模型能够根据它们的相关性对特征进行排序。该机制背后的主要思想是计算输入特征的权重分布，以将更高的值分配给具有更高等级的特征。注意层由对齐层，注意权重和上下文向量组成。

        首先，对齐层计算编码向量h = {h1，h2，.，hn} 和向量v之间的对齐分数；

        此后，应用softmax通过对h的所有n个元素归一化来计算概率分布 ，其中i = 1，2，.，n，如等式7中给出的。大的 意味着hi为v贡献了重要信息。注意机制的输出O是编码向量h中所有元素的加权和，如等式8中给出的。

 3.4单词嵌入

        单词的分布表示是生成包含上下文信息的数字矢量表示的最新且流行的方法。

        在现有文献中，这种数字矢量在许多自然语言处理任务 (如谣言检测) 中显示出令人鼓舞的结果 [29]。

        文本内容的数字矢量表示可以在不同的粒度级别上生成，例如单词，短语，句子或段落。

        此外，诸如加法，减法和连接之类的向量操作可以在较小的组成部分 (单词，短语或句子) 的向量上进行，以获得较大成分 (句子，段落或文档) 的向量代表)。

        在早期的方法中，Bengio等人 [30] 提出了一种用于单词表示和统计语言模型的联合学习的前馈神经模型。

        在一项开创性的工作中，Mikolov等人[31] 提出了一种计算有效的方法，word2vec，使用两种不同的表示模型从未标记的语料库中学习单词表示- (i) 连续的单词袋，和 (ii) skip-gram。在另一种被广泛接受的方法中，Pennington等人[32] 提出了用于单词表示的Glove (全局Vector)，该方法基于基于全局单词共现计数的加权最小二乘模型。在分布式表示中，单词嵌入的每个维度都表示一个潜在的概念，该概念基于单词与语料库中的其他单词的共存。在本文中，我们使用了免费提供的预先训练的200维手套词向量，在20亿个推文的语料库上训练 [32].

4 论文提出的方法

        本部分介绍了DeepSBD模型的体系结构，它由四个层组成，即(I)输入层、(Ii)低级特征表示层、(Iii)用户表示层和(Iv)输出层，如图1所示。这些层的详细描述将在以下小节中给出。

 4.1 输入层

        由于用户通常在真实世界中基于身份和行为来表征，因此DeepSBD使用配置文件和行为特征对OSN用户进行建模。为此，DeepSBD的输入层用于读取配置文件、推文和相关元数据信息，以学习用户代表，如以下小节中所述。

4.2 低级特征表示层

        在现实世界中，个人/社区在身份特征和行为方面彼此不同。这种身份和行为上的差异也一直存在于osn上。社区中的用户通常在身份和行为特征方面具有凝聚力。同样，在OSN上，socialbot和良性用户在个人资料信息，状态发布行为和主题倾向方面也有所不同。低级特征表示层使用表示用户行为的神经网络技术从配置文件、时间、活动和内容信息中提取细粒度特征。在以下小节中详细介绍了学习用户的不同行为表示形式。

4.2.1 配置文件表示法

        根据真实世界的身份，用户在OSN上有不同的个人资料信息。但是，socialbots没有任何真实身份，并且使用手动或自动创建的虚假个人资料信息，例如用户名，句柄，身份描述。

        为了避开检测系统，botherder通常手动创建配置文件以使其看起来真实。

        另一方面，自动创建的社交机器人在其个人资料信息中显示规律性 [14]。

        现有文献在特征工程和基于深度学习的方法中都使用了配置文件信息来检测社交机器人 [14]，[17]。因此，为了检测其个人资料信息具有规律性的socialbots，DeepSBD使用12个基本特征对用户的身份相关信息进行建模-状态计数，关注者计数，好友计数，收藏夹计数，列出计数，帐户年龄 (以天为单位)，关注者比率，好友比率，状态比率，追随者与朋友的比率、默认配置文件状态以及是否启用地理位置。

        关注者率表示用户每天获得的关注者数量。其他与平均相关的特征也按天计算。我们使用了可以直接从用户配置文件中提取 (或几乎没有计算) 的简单功能，以避免手动制作复杂的功能。将配置文件特征向量P_u传递给基于注意的两层堆叠BiLSTM，以学习基于低级配置文件的表示P_u。

4.2.2时间行为表示

        在设计socialbots时，通常使用某些调度算法来确定活动时间。活动时间不是完全随机的，而是遵循一定的分布。因此，自动化账户在活动时间上具有一定的规律性 [12]，[10]。相反，人类的活动时间在总体上是随机的且不可预测的。为了观察账户的规律性和自动化，推文时间的建模是至关重要的。

        因此，我们对推文时间进行时间分析，以观察用户帐户的自动化程度。通常，机器人被编程为处于活动状态-

         (i) 在代表昼夜模式的一天中的特定时间，

        (ii) 或在代表周期性模式的某些特定时间间隔之后。结果，DeepSBD使用从u的时间线提取的30天推文 (如果可用) 或至少100条推文的时间信息对用户u的两种类型的时间行为建模。

        在以下段落中描述的昼夜和周期性时间建模使用了所有四种类型的推文活动的时间信息-普通推文，转发，引用的推文和回复。

昼夜行为表征

        如前所述，可以将机器人编程为在一天中的特定时间处于活动状态，代表昼夜模式 [12]。我们使用其推文活动的时间信息对此类机器人进行建模。为此，我们将用户u的Twitter时间轴划分为天数，其中每天d ∈ D被划分为1分钟的时间间隔序列，例如 τ = {τ 1，τ 2，...，τ 1440}，因为1天 = 24 × 60分钟，其中 | D | 表示u第一条和最后一条推文之间的日计数。

        此外，我们将在一天d的特定分钟内u的推文活动的数量分配给该天的相应分钟向量du。例如，如果u执行2次转发活动，发布1条推文，并在上午1:30到1:31之间的一分钟内回复了一条推文，即第i天di的第91分钟，那么第i天时间向量的第91个索引被赋值为4。最后，的昼夜时间行为表示为，其中表示u在di的第一分钟执行的活动的数量。类似地，如果存在推文，则为30天中的每一天构建昼夜时间向量; 否则，将生成零向量。最后，我们将u的每一天的昼夜时间矢量串联起来，以创建最终的昼夜时间矢量。此后，向量被传递到基于注意力的两层堆叠BiLSTM，以提取基于昼夜行为的低级特征。

         在图2(a) 和2(b) 中分别显示了随机采样的社交机器人和良性用户的昼夜时间行为，以及在10天内每天每分钟执行的推文活动的数量。在这两个图中，x轴表示一天中的分钟，y轴表示在一天中的特定分钟中执行的推文活动的数量。在这些图中，由于可见性问题，我们仅在一分钟内最多显示2条推文的推文计数。

 (在10天的时间内，推文活动和相应的推文计数的时间分布。Y轴表示特定日期的相应分钟内的推文数量)

 

        从图2(a) 可以看出，社交机器人显示出昼夜模式，并被激活以在一天中的某些特定分钟执行推文活动。此外，socialbot还多次在一分钟内执行2项活动，例如在可疑的第6天进行了3次。另一方面，图2(b) 揭示了良性用户在推文时间的时间分布上是相当随机的，并且没有显示任何昼夜行为.

 周期性行为表示

        可以将机器人编程为在固定的时间间隔内处于活动状态，并具有一些不规则性，这代表了推文间时间的周期性模式 [10]。在本节中，我们对用户的这种行为进行建模，以将社交机器人与良性用户隔离。为此，我们计算每对连续推文之间的交互时间。在此行为建模中，我们考虑了所有四种类型的推文的时间戳序列，而没有分组。 

         给定用户u，如果T1和T2分别表示tweets T1和T2的发布时间，则ΔT(1,2) = T2−T1表示T1和T2之间的交互活动时间。同样，我们计算每对连续推文之间的 Δ t。使用 表示u的N个tweet集合上的所有交互时间的集合。此后，被给予基于注意力的两层堆叠BiLSTM，以提取基于周期性行为的低级特征。我们调查了社交机器人和良性用户的活动间时间分布，并观察到非常相反的行为。

         图3(a) 显示了一组四个随机选择的社交机器人的活动间时间分布，该社交机器人来自四个社交机器人数据集中的每一个，以及一个良性用户。

 (一组四个社交机器人 (四个社交机器人数据集中的每一个) 和一个真正用户的活动时间和活动序列行为)

        在此图中，较低的四个子图表示社交机器人的行为，而最上面的子图表示良性用户的行为。X轴和y轴分别表示活动对和活动间时间。对下面四个子图的分析表明，这四个社交机器人根据其主人设计的自动化策略显示出某些周期性模式。从图3(a) 底部的第二子图可以观察到，第二socialbot以其活动间时间分布显示出强烈的周期性模式，显示出衰减趋势。该图还显示了第三个socialbot使用了一些复杂的调度算法来模仿随机行为，但其活动间时间分布虽然不强，但仍然显示出中等模式。相反，该图的最上面的子图显示，良性用户在发布时没有显示任何周期性模式。所有这些分析都揭示了社交机器人对调度算法的使用。

4.2.3 活动序列行为表示 

         在OSNs中，不同的socialbot根据其主人 (骚扰者) 的需要执行不同的活动。有些机器人被注入转推，而有些人回答查询 (通常是良性机器人)。尽管社交机器人可以执行所有可能的活动，例如tweet，retweet和reply，但它们遵循有关下一步执行的推文活动类型的某些分布。

         因此，活动序列是社交机器人检测[9]的一个很好的指标。DeepSBD使用所有四种活动(推文、转发、回复和引用推文)对用户的活动序列行为进行建模。我们为每个用户选择100推文来编码他们的活动序列行为。为每个用户选择相等数量的活动，以确保所有用户的编码行为表示长度相等。

        在活动序列表示中，四个活动中的每一个都使用唯一的数字编码-纯tweet by 0，retweet by 1，reply by 2和quoted tweet by 3。例如，给定来自用户u的时间线的最近100活动，其基于活动的行为可以被编码为 ，其中表示u的第三活动是转发。我们还对活动序列进行视觉分析，以识别社交机器人和良性用户的行为差异。图3(b) 表示一组四个随机选择的socialbot (每个socialbot数据集中一个) 和一个良性用户的示例活动序列。在此图中，较低的四个子图表示社交机器人的行为，而最上面的子图表示良性用户的行为。该图显示了社交机器人的活动序列遵循某种模式，其中第二和第四社交机器人仅发布推文，而不执行其他活动。从底部的第三个子图中得出的一个有趣的观察结果是，相应的socialbot会定期发布一些推文，然后回复。相反，良性用户的活动序列显示出非常随机的行为。此外，用户u的编码活动序列被作为基于注意力的两层堆叠BiLSTM的输入给出，以学习基于低级活动序列的特征表示Au.

 4.2.4 内容行为表示

         现有文献已将推文内容中的规律性用于社交机器人检测 [7]。DeepSBD通过使用Glove词嵌入以矩阵形式编码推文，从推文和推文之间的内容中提取模式。鉴于用户u已经发布了N条推文，例如，t1，t2，。，tN，首先，推文按时间顺序排序。

         此后，使用空格将每个tweet ti token化，并且使用Glove向量将每个token (单词) w ∈ W替换为维度d的单词的相应分布表示。结果，u的tweet ti表示为矩阵。同样，u的N条推文中的每一条都被建模为2D单词嵌入矩阵。最后，将所有矩阵级联并表示为3D矩阵，该矩阵通过包含2个最大池化层的深CNN，放置在第2和第4卷积层之后。

         每个卷积层包含k个滤波器F = f1，f2，.，fk，每个大小为s × s。在这项工作中，我们将推文组织为3D矩阵，以学习推文内和推文间的规律性。CNN的输出通过注意层来学习基于内容的低级上下文特征表示Cu.

 4.2.5 低级注意力

         前面的小节已经介绍了如何学习不同的低级行为表示 (细粒度特征)。但是，并非特定行为表示的每个特征都同等重要。因此，我们使用注意机制根据特定行为表示的所有低级特征的上下文重要性为其分配可变权重。

         例如，u的配置文件向量Pu; 如果特征f ∈ Pu的隐藏状态表示为hf，则将其传递到稠密层以学习其隐藏表示h'f，如等式9中给出的，其中w和b分别表示权重和偏差。此后，计算h ′ f与代表f ∈ pu重要性的向量vf之间的相似性。我们还使用公式10计算f的归一化重要性得分。特征级上下文向量vf在训练过程中被随机初始化并共同学习 [28]。最后，学习了特定行为的注意力表示 (例如个人资料)，并将其表示为Pu。它被计算为每个特征f ∈ p的隐藏表示的加权和，如等式11中给出的。同样，计算了u的其余四个行为方面的注意意识表示，。

 4.3 用户表示层

        本节首先结合上一节中学习到的低级特征表示，使得Bu=。为了给五个行为分量中的每一个分配权重，我们还使用等式12和13应用分量级关注，其中vc代表分量级上下文向量。u的最终表示Uu是五个分量的加权和，如公式14所示。

 4.4输出层(机器人分类层)

        Uu是从低级表示中学到的高级用户表示。最后，DeepSBD通过一个密集层传递Uu，然后使用softmax函数将u分类为socialbot或良性用户。 

 5 实验和结果

5.1 数据集预处理

        我们通过从两个主要数据集构建的五个数据集来评估DeepSBD，其中一个是基准数据集，第二个是我们生成的。基准数据集由 [33] 提供，其中包含4个数据集，即社交垃圾邮件机器人 #1 (SD1) 、社交垃圾邮件机器人 #2 (SD2) 、社交垃圾邮件机器人 #3 (SD3) 和真实账户 (GD)。

        DeepSBD分别在三个socialbot数据集上进行评估，以观察其在不同类型的socialbot上的有效性。

        我们还通过在2016年1月6日到2016年2月2日之间的Twitter上的socialbots注入实验构建了一个数据集。在我们的早期工作之一中可以找到注入过程的详细描述和相应的统计结果 [34]。在实验中，我们注入了98个社交机器人，其后是由两类关注者组成的2907个用户。

        第一类包括在被社交机器人关注后关注他们的用户；

        而第二类包括与社交机器人发起连接的用户 (即，他们首先关注社交机器人)。

        在这些2907用户中，1248和1659分别与用户的第一和第二类别相关。在本文中，我们仅关注第二类，因为已建立的注释方法仅将第二类用户视为可能的机器人 [35]。最后，我们选择了一组被Twitter暂停的248用户作为第四个数据集sd4。

        现有文献有三类方法来创造机器人的基本事实：

        在第一类方法中，雇用turkers根据某些行为特征 (提供基准数据集的作者所使用的) 使用某些准则，以机器人或人类的身份手动注释配置文件；

        第二类方法创建蜜罐配置文件以吸引用户，并进一步将其标记为机器人 [35]；

        最后，第三类方法如果被基础OSN挂起，将配置文件标记为bot [36]。

        基于第二和第三种方法 [35]，[36]，我们将SD4的248个用户标记为机器人，因为这些用户首先创建了与注入的社交机器人的连接 (第二种方法)，然后Twitter暂停了它们 (第三种方法)。此外，为了评估DeepSBD对不同类型的socialbot的鲁棒性，我们汇总了所有四个socialbot数据集以创建第五个评估数据集sd5。

        我们之所以这样做，是因为现有的大多数机器人检测方法在检测特定类别的社交机器人时表现出了良好的性能，但在其他类别的社交机器人上却失败了。

        在五个评估数据集中，我们从真实数据集GD中选择了负类用户(良性)。

        评估数据集的最终版本仅包括具有大于或等于100个推文的用户。在实验评估中，DeepSBD使用来自每个用户的100个推文。表1给出了所有五个socialbot数据集和一个真实数据集的简要统计，其中原始列表示所提供的数据集版本中的用户数量，而最终列表示具有超过100条推文的用于评估的选定用户的数量。

 5.2 训练详情

        为了进行实验评估，我们使用80% 数据进行训练，并使用剩余的20% 数据进行验证。我们使用了两层堆叠的BiLSTM，每层都有256个记忆单元，以学习配置文件，时间和基于活动的行为表示。

        此外，我们使用了六层CNN，在前三层处具有256个大小为3 × 3的滤波器，然后进行大小为3 × 3的最大池化操作。在最后三层，使用大小为2 × 2的另外256个滤波器，随后是大小为2 × 2的最大池化操作。在CNN中，我们执行像图像一样的2D操作，因为用户的tweet内容被映射到类似于图像表示的3D矩阵。内容的3D表示从tweet内和tweet间表示中捕获更好的隐藏特征。

        用户表示层连接到具有1024神经元的稠密层。在稠密层上执行0.5的dropout操作以减少过拟合效应。稠密层后面是具有2个神经元的softmax层，用于分类，adam用作优化器。

        本文介绍的所有实验都是在具有Intel Xeon处理器和64 GB RAM的Linux机器上进行的。

        表2列出了建议模型中使用的参数。进一步地，DeepSBD是使用Python Keras实现的。

 5.3 绩效评估结果

        我们使用四个标准指标，即检测率 (DR)，精度 (Pr)，F得分 (F1) 和准确性 (Acc)，对五个socialbot数据集进行了DeepSBD评估。

        表3的第一行显示了DeepSBD在所有五个数据集上的性能评估结果。从该表中可以看出，DeepSBD在除sd4以外的所有数据集上始终显示出良好的性能。尽管DeepSBD在SD4上没有显示出明显的良好性能，但检测像SD4中存在的非常复杂的社交机器人却具有竞争力。从该表中还可以观察到，DeepSBD在Pr方面显示出优于SD1的完美性能。总体而言，就所有四个评估指标而言，DeepSBD显示出优于SD1的最佳性能，如表3的第一行所示。

 5.4 比较性能评估

5.4.1 基于深度学习方法的比较评价

        本节介绍了DeepSBD与三种最先进的基于深度学习的方法 [13]，[14]，[15] 和三种基线方法的性能比较。我们使用各自论文中指定的参数设置实现了三种基于深度学习的方法。

        在 [13] 中，Cai等人提出了DBDM来联合建模用户的时间和文本信息，以进行socialbot检测；

        类似的，Ping等人 [15] 提出了另一种基于深度学习的模型，DeBD，用于通过基于用户的时间、文本和其他信息 (如提及、标签和URL) 对用户进行联合建模来检测社交机器人；

        这两种方法不包含有关用户活动序列行为的任何信息。此外，他们没有考虑配置文件和推文之间的时间行为来模拟用户或socialbot检测的自动化。

        在 [14] 中，Kudugunta等提出了另一种基于深度神经网络的模型DNNBD，该模型仅使用配置文件信息以及SMOTE进行socialbot检测；

        此外，我们在排除不同神经网络组件的基础上，使用DeepSBD模型创建了三个基线，以观察它们对模型性能的影响。这就像一个交流分析来观察不同组件对性能的影响。

        在消融分析中，从分类模型中排除特征/特征向量/分量，以观察其对性能评估结果的影响。

        在第一个基线 (基线-1) 中，我们使用LSTM代替BiLSTM而没有注意力机制；

        第二基线 (基线-2) 使用LSTM与注意机制；

        最后，第三基线 (baseline-3) 从DeepSBD中排除了注意力机制，以观察其对性能的影响。

        表3显示了DeepSBD与三种深度学习和三种基线方法的比较结果。在此表中，五个数据集中的每个数据集的最佳性能以粗体显示。从该表中可以看出，除四个实例外，在所有四个评估指标方面，DeepSBD在所有五个数据集上都优于比较方法。

        在SD5上，DeepSBD在Pr和Acc方面分别与DBDM和baseline-3相比表现不佳。

        就DR和Pr而言，DeepSBD与SD4相比，DeepSBD的性能也较差。

        在实验过程中，我们发现当同一实验重复多次时，DNNBD模型在性能方面具有很高的一致性。因此，与DeepSBD和其他比较模型相比，该方法的平均评估结果明显较低。另一个相互影响的观察是，在像SD2这样的大型数据集上，所有方法都显示出相当的性能。

        在基线方法中，可以观察到，就模型配置而言，基线越接近DeepSBD (例如，基线-2和基线-3)，其结果越接近DeepSBD。

        在调查基线结果时，可以观察到，在SD1、SD2和SD5数据集上，注意力排除机制对结果的影响最大。

        相比之下，排除注意力机制以及用LSTM替换BiLSTM显示出对SD3和SD4数据集的性能影响最大。在对所有评估结果进行严格分析之后，我们得出结论，现有方法的性能取决于数据集，并且特定于socialbot类别。

5.4.2 与最先进工具的比较评估

        除了基于深度学习的模型之外，现有的文献还有各种最先进的特征工程和基于行为建模的方法，如botornot [6] 和DeBot [10]，它们以API服务的形式展示了它们的方法。两者都是众所周知的socialbot检测方法。

        对于一个帐户，botornot分配一个介于0到5之间的bot分数，而不是一个二进制分类。我们使用4.0的bot分数作为阈值，并且bot分数大于此的用户被标记为bot。

        相反，DeBot执行二进制分类，将用户标记为socialbot或真实用户。

        此外，我们验证了每个用户帐户的状态，以从四个socialbot数据集和一个真实数据集中过滤暂停和删除的帐户。我们这样做是因为Twitter已经关闭了暂停和删除的帐户; 因此，[6] 和 [10] 的公开api无法验证其状态。

        我们没有评估这两种方法在SD5上的功效，因为它是所有四种类型的社交机器人的聚合。

        表4的第二、第三和第四列分别给出了来自三个socialbot数据集和一个正版数据集的用户账户原始用户数、暂停和删除用户数以及活跃用户数的简要统计。我们不提供SD4的统计数据和结果，因为该数据集的所有用户都已被暂停。表4显示分别来自SD1、SD2和SD3的大约70% 、4% 和18% 的社交机器人已经被暂停。此外，我们验证已识别的活动帐户的状态，将其用户id传递到这两种方法的公开api。

         表4给出了两种方法对TP和FN的检测结果。

        从该表的第五和第六列可以观察到，botornot在显示比较性能，并根据定义的阈值检测到大量的社交机器人。然而，与基于深度学习的方法相比，它仍然很低。在统计上，该表的第七列和第八列显示DeBot完全无法检测到社交机器人。但是，在这一点上，我们不能将DeBot的不良结果归因于理论基础。我们还在表4的最后一行中介绍了真正用户的结果。

5.4.3 与基于最新特征工程方法的比较评估

        现有文献有许多方法，它们使用不同类别的信息来提取手工制作的特征以学习分类模型。[8] 和 [18] 中的作者还使用了基于配置文件、内容和交互的手工制作功能来检测社交机器人。

        对手通过根据设计的特征操纵其行为来绕过 [8] 和 [18] 等特征工程方法。

        尽管DeepSBD使用一组给定的信息以及其他信息来对用户的自动化和可疑行为进行建模，但它并未采用任何手动特征工程流程。

        DeepSBD使用配置文件，内容，时间和活动信息来观察来自用户活动各个方面的自动化提示，以监视不同类型的社交机器人。、

        我们实现了 [8] 和 [18]，并训练了朴素贝叶斯、决策树和随机森林分类模型。

        表6显示了四个数据集SD1，SD2，SD3和sd5的基本评估结果。我们没有对SD4进行实验评估，因为此数据集中缺少大多数必需属性的值。由于Twitter已经暂停了SD4的socialbot帐户，因此我们无法提取丢失的信息。从该表中可以观察到，除了一个实例外，DeepSBD在所有数据集上的性能均优于 [8] 和 [18]。

 5.5 社交机器人和良性用户的比例不同

        表1显示，在所有五个数据集中，社交机器人和良性用户的比例并不平衡。例如，在SD1中，socialbots和良性用户的比例大约为1:2，而在sd4中几乎为1:8。此外，在Twitter和Facebook等osn中，与良性用户相比，社交机器人的比例通常较低。在一项研究中，Varol等人 [2] 估计大约9% 到15% 的Twitter帐户是机器人。因此，为了研究DeepSBD在类似真实网络的情况下的功效，本节介绍了社交机器人与真实用户的不同比例 (即1:1，1:2和1:5) 的评估结果。

        我们对这三个比例的数据集进行了重复的实验评价，分别从DR、Pr和F1三个方面观察了各自的评价结果。

        以用户比率为1:1的数据集具有相等数量的socialbots和良性用户，而以1:2比率的数据集每个socialbot有两个良性用户。

        表5给出了评估结果。在调查中，我们观察到DeepSBD的性能受到社交机器人和良性用户的比例的不利影响，尽管并不明显。表5显示，当我们增加所有五个数据集的socialbots和良性用户的比例 (即，当真实用户的数量增加时) 时，DeepSBD的性能下降，并且在sd4的情况下是显著的。基于这些分析，我们得出结论，不平衡的数据集会对socialbot检测方法的性能产生不利影响。

 5.6 行为消融分析

        本节使用行为消融分析评估五个行为组成部分各自的贡献。为了观察特定行为的影响，将其基础行为向量排除在模型之外，并且各自的结果代表了行为的影响。例如，为了调查配置文件特征的影响，将其特征向量从模型中排除，并观察修改后的模型的性能，如表7的第三行所示。

        对所有行为向量重复进行了类似的实验，以观察它们对模型性能的影响。行为消融分析结果如表7所示。在该表中，与对性能具有最大影响的行为分量相对应的评估结果以粗体显示。可以观察到，配置文件功能在SD4上显示出最高的区分能力，而在其余数据集上显示出中等的区分能力。

        同样，内容功能显示了对SD3和SD5的良好区分能力，并且对其余数据集的影响很小。

        同样，周期性时间行为在不同的数据集上也显示出良好和中等的性能。

        在五个行为组成部分中，昼夜行为对DeepSBD性能的影响最小。

        从该分析中得出的一个有趣的观察结果是，不同的行为成分在不同的数据集上显示出不同的性能，强调了使用不同的行为特征进行socialbot检测的重要性，这是现有行为建模和基于深度学习的方法的限制。

        它还支持以下事实: 将socialbots注入OSNs以获得不同的原因，因此其操作行为和其他特征是由其botmaster设计的。因此，使用一组全面的行为特征对于建模不同类别的社交机器人至关重要且有效，这是DeepSBD模型的优势之一。

5.7 训练时间分析

        本节研究了DeepSBD和现有的基于深度学习的socialbot检测方法的训练时间成本/时间 (以秒为单位)。

        表8列出了基本的评估结果。从该表中可以看出，DeepSBD和DBDM的训练时间成本是可比的。此外，就F1-score和准确性而言，两者都是性能最佳的方法。DNNBD在计算上是快速的，具有较小的训练时间成本/时间，因为它使用一小部分配置文件属性来训练模型。但是，DNNBD不稳定，并且显示出较差的评估结果。尽管DeepSBD相对较慢，但在当前的GPU和TPU时代，如此小的计算成本差异并不是问题。但是，就准确性而言，DeepSBD的性能优于SOTA深度学习，特征工程和基于行为建模的方法。因此，考虑到精度和计算效率，DeepSBD更好。

6 CONCLUSION AND FUTURE WORK

        本文提出了一种基于深度神经网络的模型DeepSBD，用于检测Twitter上的社交机器人。它是一种注意力的深度神经网络模型，它使用五种行为表示来共同整合来自四个信息类别的提示。

        与现有的仅利用一种或两种行为的方法不同，DeepSBD是第一个使用一组全面的个人资料和行为信息对用户表示进行建模的深度学习方法，因为社交机器人被注入到OSN中，具有不同的目标，因此它们表现出不同的行为模式。

        DeepSBD使用CNN和BiLSTM架构联合建模用户行为。它将轮廓，透射和活动信息建模为序列，将其馈送到两层堆叠的BiLSTM，而内容信息则提供给深层CNN。DeepSBD在五个真实世界的数据集上进行了评估，并且与现有的最新深度学习，特征引擎和基于行为建模的方法相比，性能更好。将DeepSBD扩展到其他社交媒体平台并开发其用于学术和研究的API是潜在的未来研究方向。