长短期记忆神经网络_使用双向长短期记忆神经网络和词嵌入模型检测机器人

摘要

使用双向长短期记忆递归神经网络从推文中抽取特征。我们是第一个使用词嵌入加长短期机器网络从推文中抓取特征的工作。本方法不需要手工提取特征，并且效果较为良好

介绍

原有的工作需要多种特征进行分析。本文提出了一个递归神经网络，利用词嵌入的双向LSTM模型，不需要有关账户信息，社交网络，历史行为有先验知识。 - 提出了BiLSTM使用连接对于输出连接两个方向相反的隐藏层，输出层能同时获得正向和反向量方向的信息。 - 使用词嵌入技术，而不是传统的特征工程或者更复杂的自然语言处理工具，使得能呕更快，更容易的进行机器人检测。

方法

词嵌入模型

使用GLoVE词嵌入模型，将文本转化为表征向量。本文中使用了预训练模型GLoVE。我们定义我们的定义我们的词汇表是在所有训练样本中以及预训练的200维GloVE存在的交集。

提出的模型

数据集是cresci-2017

网络模型参数设置

• 学习率是0.01
• 网络结构是200个循环单元一个全连接softmax层
• dropout是0.5最后到达0.1
• 30个epoch
• batch是64

对比结果

总结

本文的想法就是使用推文来进行社交机器人识别，于是想到了双向循环神经网络。我觉得可以联合账户信息，以及新的预训练模型说不定可以有新的结果产出。