AI论文参考

描述了12个NLP文本分类或者相关NLP模型的结构，解释及实现等。链接：CSDN飞翔的大马哈鱼 包括：

1. 快速文本（fastText）
2. 文本卷积神经网络（Text CNN）
3. 文本循环神经网络（Text RNN）
4. 双向长短期记忆网络文本关系（BiLstm Text Relation）
5. 两个卷积神经网络文本关系（two CNN Text Relation）
6. 双长短期记忆文本关系双循环神经网络（BiLstm Text Relation Two RNN）
7. 循环卷积神经网络（text-RCNN）
8. 分层注意力
9. 具有注意的Seq2seq模型(1.encoder to decoder   2.引入注意力机制   3.attention的计算方式）
10. Transformer（“Attention Is All You Need”）
11. 循环实体网络（Recurrent Entity Network）
12. 动态记忆网络

写了2017年10篇NLP论文的摘要和原文链接，大多关于机器翻译和信息抽取(信息抽取或关系抽取)。链接：CSDN数据派THU 包括:

1. Attention Is All You Need：Google Brain 在本文中提出了一个新型的简化网络架构—Transformer，完全基于注意力机制，完全避免了循环和卷积，完全可并行。
2. Reinforcement Learning for Relation Classification from Noisy Data：将强化学习应用于关系抽取任务中，取得了不错的效果。清华大学其主要贡献是将远程监督的信号转化为强化学习中的延迟奖励，从强化学习的视角提出解决问题的思路，并克服了联合训练 instance selector 和 relation classifier 两个模块的问题。
3. Convolutional Sequence to Sequence Learning：提出了基于卷积神经网络（CNN）的 seq2seq 架构，和基于循环神经网络（RNN）的 seq2seq 相比，其更易于加速训练。
4. Zero-Shot Relation Extraction via Reading Comprehension：基于阅读理解的关系抽取方法，并且成功抽取未标注的新关系。本文的精华之处在于对阅读理解问题的转化和数据集的生成(提出基于关系而非实体远程监督关系的众包标注方法)。
5. IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models：本文是生成对抗网络（GAN）在信息检索（IR）中的应用。
6. Neural Relation Extraction with Selective Attention over Instances：本文提出使用卷积神经网络得到句子分布式表示，并结合句子级注意力机制动态减弱噪声干扰的远程监督关系抽取模型。
7. Unsupervised Neural Machine Translation：本文作者认为无监督神经机器翻译是大势所趋，完全舍弃了平行数据，提出了用完全无监督的方式训练神经机器翻译系统的新方法，该方法只需使用单语语料库。在统一的向量空间上进行“意译”，使用 denosing 和 backtranslation 来强化这一目标。
8. Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme：本文提出了一个新的联合抽取的模型框架（联合抽取方法使用一个模型同时抽取实体及其关系）来解决此类问题，并在公开数据集 NYT 上取得了很好的效果。
9. A Structured Self-attentive Sentence Embedding：本文最大的亮点在于提出了自注意力机制，无需外部信息即可对自身进行 attention。此外，本文还提出用二维矩阵表示句子，矩阵的不同行表示句子不同层面的信息，使句子表达信息更丰富，解决了句子被压缩成一维向量时的信息损失问题。
10. Dialogue Learning With Human-In-The-Loop：一般的对话机器人训练着重于在固定数据集上训练，本文使用强化学习基于在线反馈训练对话模型，在合成语境中对模型各方面性能进行测试，使用 Mechanical Turk 验证模型在真实环境中的表现，成功证明了使用固定数据集初始化模型后通在线学习改进模型的可行性。

2017年度最值得读的AI论文 | CV篇 · 评选结果公布 链接：paperweekly

记录每天整理的计算机视觉/深度学习/机器学习相关方向的论文-github

年度必读：2018最具突破性人工智能论文Top 10，链接：数智物语，基本是NLP的论文，包括BERT等：

1. Universal Language Model Fine-tuning for Text Classification：文本分类的通用语言模型微调，为了解决标记数据的缺乏的困难，使NLP分类任务更容易、更省时，研究人员建议将迁移学习应用于NLP问题。
2. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples：混淆梯度，针对对抗性样本的防御通常使用混淆梯度，这造成了一种虚假的安全感，实际上这种防御很容易被绕过。
3. ELMO: Deep contextualized word representations：语言模型嵌入(Embeddings from Language Models, ELMo)。在ELMo增强的模型中，每个单词都是基于它所使用的整个上下文向量化的。在现有的NLP系统中加入ELMo可以减少6-20%的相对误差，显著减少训练模型所需的时间，以及显著减少达到基线性能所需的训练数据量。
4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling：CNN和RNN在序列建模的比较：时间卷积网络(TCNs)在多个序列建模任务中明显优于长短期记忆网络(LSTMs)和门控循环单元网络(GRUs)等典型的循环架构。
5. Delayed Impact of Fair Machine Learning：探索机器学习的公平性。
6. World Model：这种模型可以在无监督的情况下快速训练，以学习环境的时空表现形式。在赛车任务中，智能体成功的在赛道上行驶，避开了VizDom实验中怪物射击的火球。
7. Taskonomy: Disentangling Task Transfer Learning：分解任务迁移学习：他们使用完全计算的方法建模，并发现不同可视化任务之间的许多有用关系，包括一些重要的任务。他们还表明，通过利用这些相互依赖性，可以实现相同的模型性能，标记数据要求大约减少2/3。
8. Know What You Don’t Know: Unanswerable Questions For SQuAD：这是斯坦福问答数据集(SQuAD)的最新版本。
9. Large Scale GAN Training For High Fidelity Natural Image Synthesis：用于高保真自然图像合成的大规模GAN训练。
10. BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding：深度双向变换器语言理解的预训练： BERT的设计是通过在所有层中对左右上下文进行联合条件作用来预先训练深层双向表示。因此，只需要一个额外的输出层，就可以对预训练的BERT表示进行微调，从而为广泛的任务（如回答问题和语言推断）创建最先进的模型，而无需对特定于任务的体系结构进行大量修改。