文献阅读笔记 Short-Text Classification Detector: A Bert-Based Mental Approach

小结

首先，由于短文本具有稀疏性，所以导致机器很难去理解或者识别到短文本中所表示含义。所以文中提出了一种方法，使用发布短文本的作者的mental feature来提升分类的准确性。

并且文中使用的是Bert模型来进行训练，在最终通过实验的结果来验证使用Bert模型的效率和mental feature对短文本分类

简介

同时指出Bert模型由三个部分组成，Input layer，Encoder layer ，Output layer 这三个部分来共同组成。

其中Input layer输入社交媒体数据有两个方法：
  Pair Method（PM）这种方法输入特征文本到模型中作为独立的句子。
  News Text Method (NTM) 这种方法输入相应的文本作为一个整体的句子。

Encoder layer的结构是由12个transformer编码器组成。其中的每个编码器是由以下的组件来构成：
self-attention module, add&norm module, feed-forward module, and
add&norm module

其中self-attention module是用来发掘单词之间的相互关联的，并且将我们的输入数据表示的三个向量整合为一个向量Z。
add&norm module是将上面整合的向量Z进行规范化。
Feed-forward模块的功能是对上面两个模块之后得到的结果进行相应的非线性处理，可以更好的拟合模型

Output layer是Bert模型顶端的一个简单的激活函数分类器。

文中使用的datasets是English Fake News Detection（EFND）和Chinese Topic Detection（CTD）

通过结果的相应对比效果来看，Bert模型的效果要比我们使用其他的分类器的效果要好得多。同时，使用mental feature的效果要比我们使用纯文本的效果要好得多。