论文随便读:Recurrent Convolutional Neural Networks forText Classification

论文来源：Lai, S., Xu, L., Liu, K., & Zhao, J. (2015, January). Recurrent Convolutional Neural Networks for Text Classification. In AAAI (Vol. 333, pp. 2267-2273). 下载戳这里哦

参考文章：https://blog.csdn.net/rxt2012kc/article/details/73742362

一、概述

 提出了一种可以利用单词的上下文信息的双向循环结构进行文本分类，命名为RCNN网络，它可以在时间复杂度为O(n)的前提下，提升文本分类的准确率
论文中提出RCNN可以较均匀的利用单词的上下文信息，既可以缓解在RNN中后面的单词比前面的单词影响力更大的缺点，也不需要像CNN一样需要通过窗口大小来设定对上下文的依赖长度。

二、网络结构

 可以从图片中看到，每一个单词的embedding方式主要有3个部分concat组成：left context ;单词本身的embedding;righ context，w代表单词。

这里面单词本身的embedding即e(w_i)是，使用了Skip-gram的方法进行预训练，具体怎么训练的没有看懂emmmmm...
 其中：

f代表一个非线性的激活函数，c_l 融合了当前单词前面的单词信息,c_r融合的是单词后面的信息，由于每一个x_i都是由这种编码方式来的，可以做到尽可能远的把上下文信息融合到一起，可以做长距离依赖的预测。
 接下来把x_i后套一个mlp层加上一个激活函数就得到了y⁽²⁾:

这个地方使用了tanh作为激活函数，对于这个地方使用tanh是否具有特殊性含义，是否换成其他的激活函数就不可以，还没有想太明白。但是可以看出这个y⁽²⁾代表的是这个单词对于每种分类的评分向量。
 使用max pooling的方式得到y⁽³⁾，即：

在y⁽³⁾后面借一个mlp和softmax层得到最终的评分向量：

使用随机梯度下降来对参数进行更新。

二、实验结果

论文中采用的数据集如下：

实验结果如下：

对比的算法包括传统的文本分类方法，以及相关论文中提到的算法，然后对结果进行了一系列的分析，从分类准确率和时间性能两方面去分析算法的优势。