论文Recent Trends in Deep Learning Based Natural Language Processing

一：abstract。

深度学习已经应用于很多领域，特别是在计算视觉和模式识别方面取得了突出的成绩。深度学习应用于NLP的一大优势是自动特征提取，而传统的NLP处理技术大多是通过手工提取特征，手工提取特征耗时、不完整。

Natural Language Processing (Almost) from Scratch阐述了基于深度学习的框架和算法在词性标注、命名实体识别、语义角色标签等NLP任务方面，性能优于其传统的方法。

已经有大量的深度学习算法应用于NLP任务，比如CNNS、RNNS、recursive neural network，在这些神经网络的基础上，又出现了记忆化增强策略、注意力机制、强化学习方法、深度生成模型。

A Primer on Neural Network Modelsfor Natural Language Processing 总结了通过深度学习distributed 表示NLP语义的研究，主要是word2vec和CNNS的变种。文章第二部分介绍了分布表示的概念、复杂的深度学习模型的基础，三、四、五描述了现在流行的深度学习模型，如卷积、循环、递归，应用于各种NLP任务中。第六部分描述了强化学习应用于NLP中句子表示，最后总结了各种深度学习模型在标准数据集上的NLP任务的性能。

二：NLP中的分布表示。

三：NLP中的卷积神经网络。

四：NLP中的循环神经网络。

五：NLP中的递归神经网络。

六：深度强化模型和深度非监督学习。

七：记忆增强网络。

八：NLP任务的总结。