【论文复现】Character-level Convolutional Networks for Text Classification

写在前面

今天讨论的论文依然是文本分类主题的。Character-level Convolutional Networks for Text Classification这篇论文是在2016年4月份发表的,在此之前,深度学习自然语言处理问题的处理思路基本都是基于单词或者短语(n-grams)。这篇文章作者受到 ImagineNet卷积神经网络处理图片从底层像素开始的思路影响,开始试图从字符角度出发重新训练神经网络。在此之前,作者团队在2015年也发表了相类似的文章(相似度85%)Text Understanding from Scratch。因此,神经网络不再需要提前输入关于单词的信息,并且这些单词的知识往往是高维的,很难应用于CNN中。除此之外,神经网络也不在需要提前知道关于语法和语义的只是。作者称这种基于字符的学习为从零开始学习(learn from scratch)。并且作者提到,这种学习策略很容易推广到所有语言。

模型框架

论文的实现框架就是由一个个模块堆砌成的,如下图所示:

【论文复现】Character-level Convolutional Networks for Text Classification_第1张图片

 

1. Character quantization

这里的Character quantization就是将输入的每个字符用ont-hot编码表示出来。这里作者提出模型中使用的字母表一共包括70个字符,其中26个英文字母,10个数字,33个其他字符和一个全零向量(用于表示unknow字符)。另外处理输入的时候,作者选择反向处理字符编码,即反向读取文本,这样做的好处是最新读入的字符总是在输出最开始的地方。

abcdefghijklmnopqrstuvwxyz0123456789
-,;.!?:’’’/\|_@#$%ˆ&*˜‘+-=<>()[]{}

2. Conv. and Pool. layers

论文中设计了两种神经网络,一个大的一个小的。他们都有6个卷积层和3个全连接层总共9层,区别是卷基层通道的个数frame和全连接层神经元的个数。 论文中给出了大小两种模型详细的卷积层和全连接层的配置参数,卷积和池化的方式都采用“VALID”,即不进行补零操作。另外在全连接层中间还有两个dropout层,dropout的概率为0.5,以防止出现过拟合。权重初始化的方式为高斯分布,大模型的均值方差为(0,0.02),小模型的均值方差为(0,0.05)。

【论文复现】Character-level Convolutional Networks for Text Classification_第2张图片

【论文复现】Character-level Convolutional Networks for Text Classification_第3张图片

模型复现

https://github.com/KaiyuanGao/text_claasification/tree/master/char_cnn_classification

你可能感兴趣的:(Deep,Learning,NLP,paper,review)