几种使用了CNN（卷积神经网络）的文本分类模型

本文转载自:http://blog.csdn.net/guoyuhaoaaa/article/details/53188918

 

谈到文本分类，就不得不谈谈CNN(Convolutional Neural Networks)。这个经典的结构在文本分类中取得了不俗的结果，而运用在这里的卷积可以分为1d 、2d甚至是3d的。 
下面就列举了几篇运用CNN进行文本分类的论文作为总结。

1 yoon kim 的《Convolutional Neural Networks for Sentence Classification》。（2014 Emnlp会议）

 
他用的结构比较简单，就是使用长度不同的 filter 对文本矩阵进行卷积，filter的宽度等于词向量的长度，然后使用max-pooling 对每一filter提取的向量进行操作，最后每一个filter对应一个数字，把这些filter拼接起来，就得到了一个表征该句子的向量。最后的预测都是基于该句子的。该模型作为一个经典的模型，作为很多其他改领域论文里实验参照。

2 《A Convolutional Neural Network for Modelling Sentences》（2014 ACL会议） 

这个模型看起来就相对复杂一些，不过其基础也是基于卷积的。每一层的卷积操作之后同样会跟上一个max pooling操作。整个模型操作相对于上面的那个模型比较繁琐，同时我有以下几个比较质疑的地方： 
1 倒数第二到倒数第三层使用了k-max 的pooling操作，也就是说第三层中相邻的词语对应于原来的句子可能不再是相邻的，而且它们只有相对的先后关系保存了下来。倒数第三层中不同卷积平面对应的词语在原句子中可能处于不同的位置，甚至是不同的词语，因此倒数第三道倒数第四之间的卷积是没有意义的。

2 关于这里的folding操作。把同一个词语向量的不用维度之间进行加法操作，这样原文里是这样解释的“With a folding layer, a feature detector of the i-th order depends now on two rows of feature values in the lower maps of order i -1.”。但是这样的操作有意义吗？？从来没有见人提到用过，也许我们未来可以探索一下这样是否能够提高卷积器的性能。

3《A C-LSTM Neural Network for Text Classification》（arXiv preprint arXiv） 
 
其实这篇论文里只是用cnn对原文的词向量以某一长度的filter进行卷积抽象，这样原来的纯粹词向量序列就变成了经过卷积的抽象含义序列。最后对原句子的encoder还是使用lstm，由于使用了抽象的含义向量，因此其分类效果将优于传统的lstm，这里的cnn可以理解为起到了特征提取的作用。

4 《Recurrent Convolutional Neural Networks for Text Classification》（2015 AAAi会议） 
 
正如标题所说的，把lstm和cnn结合起来了，不过这个结合的方式和上面的不一样。举例来说对于词序列: A B C D E F来说，在形成C词的向量化表示的时候，使用的不再仅仅是C的word embedding，而是C左边的内容构成的向量和C以及C右边内容构成的向量的拼接形式。由于使用到了左右两边的内容故使用的是双向的Lstm。然后如图中所示使用1-d convolution的方式得到一系列的y，最后经过max-pooling的方式得到整个句子的向量化表示，最后的预测也是基于该句子的。

5 《Learning text representation using recurrent convolutional neural network with highway layers》（arXiv preprint arXiv） 
 
这个模型几乎就是稍微的更改了一下4中的模型，只不过在C向量拼接完毕将要进行卷积操作之前经过了一个highway而已。（本人对于仅仅加了一个highway就能提高模型准确率的做法感到十分怀疑，毕竟这个网络的层数并不深）