技术调研 2017.11.8

NLP的技术热点方向：

综述

调研综合工业界，学术界当前优秀学术成果，并参考当前ACL,NLP,EMNLP等会议优秀论文（主要借鉴2017年的），以及本人理解。从目前，NLP的两大顶级会议（EMNLP,ACL)来看，基于seq2seq model的优秀结构，Machine translation 持续稳定发力（但是，在就BLEUscore的分数来说，仍然很难做到全语言对的普遍大的提升）。 另一方面，基于神经网络的语言模型这几年出现了较多有趣的应用（创作诗歌，小说等项目）。由于编解码结构（encoder-decoder）的良好表现，深度的跨领域学习逐渐成为热点，近几年使用增强学习的方法在对话系统，图片描述等方面都取得了发展（见附录）。另外，NLP的各大领域优秀文章大部分都采用向量化的方式进行语言的研究，并有持续发展的趋势。同时，端到端的模型成为当前搭建nlp到各领域（图片描述以及自领域的联合问题的一个桥梁。

热点

• 热点一
• 图像的深度理解 （nlp 和 cv的交叉问题，表示学习，视觉推理，建立视觉的知识图谱）

1. 这里，指的是对于图片表述意义的理解。当前在图片描述作为nlp和cv结合的一个点（腾讯在mscoco上的cider已经达到了第一）。对于这一点，目前采用端到端模型的较多（详见介绍：https://zhuanlan.zhihu.com/p/28654835 附录）。另外，近几年对于图片深层含义的挖掘，逐渐成为热门。知识图谱和表示学习逐步发展到了对图像和语言的联合建立上，虽然是一个大工程但是对于图像的深层含义表述，是非常重要的。ACL2017的最佳资源也给与了视觉推理语言集（见http://yoavartzi.com/pub/slya-acl.2017.pdf）。

• 热点二
• 基于神经网络的语言模型的发展（语言生成，写作，基于GAN的语言模型）
  由于，语言的向量化表示（word embedding），神经网络语言模型（基于LSTM等）的出现，语言模型本身可以更好的结合其他场景进行联合训练。比如看图写诗（见微软的少女诗人小冰），以语言模型作为文本创作的这一话题，从之前使用统计学（markov model） 转移到了neural-based。这一转变降低了语言建模的难度，加速了这一领域的发展，今年的ACL的best demo 便是一个能够自动生成诗歌的系统。（Hafez）。 另外，GAN在图像生成上的表现，使得最近有人试图将他迁移到语言生成这快来，进一步调查发现，语言这块GAN仍然属于一个hard work。
• 热点三
• 端到端模型的变化和改进（增强学习，全cnn结构）
  在端到端模型中，近几年有在使用增强学习办法改进end2end。这种机制一定程度减少了exposure bias，另外采用reward机制也能一定程度上规避单一的MLE的不灵活。就论文来讲，分数上都有所的提升（不大）。最近的，就是2017年5月（见https://arxiv.org/abs/1705.04304）提出对于文本摘要使用强化学习，提升了rouge。如2016年对话系统上使用rl，解决了部分对话容易陷入死循环的问题（https://arxiv.org/pdf/1606.01541.pdf）。
  另外，使用全cnn结构的end2end模型也比较火热，主要是使用cnn可以大幅降低训练时间，rnn的训练时间较长。最新发表在arixv上的一篇文章（来自facebook AI)，使用全cnn结构来训练翻译模型，并且有小幅的bleu score 提升。

to be continue...

附录

1. GITHUB 很好的开源项目 （最近更新于2017.11.14） 更新NLP,CV,SPEECH最新的state-of-art的结果，附带论文和代码
   https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems
2. ACL best paper：https://www.jiqizhixin.com/articles/2017-08-03-8
3. EMNLP best paper：https://mp.weixin.qq.com/s/Y8CqEOhdI7C4eAliDugMcQ
4. ACL 2017 最佳资源 资源：http://lic.nlp.cornell.edu/nlvr/
5. hafez https://github.com/shixing/poem -- 代码
6. tencet 的sca-cnn model
   论文：https://arxiv.org/pdf/1611.05594.pdf
   代码：https://github.com/zjuchenlong/sca-cnn