文献阅读笔记 Chinese Short Text Classification with Mutual-Attention Convolutional Neural Networks

全文脉络

本文中提到的新的模型总体来讲是基于BiLSTM进行改进的一种适用于中文短文本分类的模型。这篇文章的主要使用的数据集也都是中文数据集。一共是使用了6个不同来源的中文数据集。

个人感觉本篇文章中的主要的贡献点主要是，将基于字级别的特征和基于词级别的特征进行了一个整合，也就是使用了两个层次共同贡献来的信息，来使得最终的模型不会忽略掉任何一个重要的semantic information。

从而文中了对于究竟是使用single-level的features训练得到的模型效果更好，还是用多级别的features训练的道德模型效果更好，进行了一个比较。通过相应的实验结果表明，事实上，还是是使用多个级别的features进行融合然后训练得到的效果更好。

文中对于这种使用多个级别的features和使用单个级别的features的模型也是举出了实例，比方说预训练模型BERT，文中指出“BERT is a character-level based model.”从而导致了Bert的效果要比文中提出的MACNN的效果要差。

但是需要指出的是，文中不仅对于上面的是使用single-features效果好还是多级features的效果好，进行了相应的实验。同时，文中还对于在确定了多级features效果好的情况下，模型究竟是使用一维的神经网络（1D）进行融合处理