notes about Natural Language Processing (almost) from Scratch

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

Ronan Collobert & Jason Weston ...
L´eon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa

摘要：提出统一的神经网络体系和学习算法可以用来解决若干自然语言处理任务，包含part of speech标注、chunking、命名实体识别和语义角色标记。在这四个领域中都已经达到或者超过了当前最新的研究成果。我们的目标是设计出一种灵活的结构可以学习用于解决这些问题的表征，因此避免了过多的特征工程（这样就不需要大量的先验知识）。我们的系统可以在大量的无标记数据中学习到内部表征，而不需要人工设定相应的深思熟虑的那些特征。这个工作也让使用最少的计算资源来构建一个方便可用并且性能高效的标记系统变成可能。

introduction

需要一种统一的数据结构来对文本进行建模。
这些简单的表征通常由于特定的应用激发出来，例如，用于信息检索的词袋模型的变体。这些表征也会是他们捕获了某种自然语言的更加一般的特性。
他们可以描述语义信息（part-of-speech tagging, chunking and parsing）或者语义信息（word-sense disambiguation, semantic role labeling, named entity extraction and anaphora resolution）。文本语料库已经人工标注使用这样的数据结构来在不同的系统中进行性能的比对。标准测试集也对NLP领域的研究产生巨大的刺激。
这些标准测试集也只能告诉我们故事的其中一部分，因为他上门没有测量出这些系统能够多么有效地转换为可以应用在真实场景的任务上的系统。

本篇文章就尝试来超越多个标准测试集，使用一个单一的学习系统。实际上，我们将这个标准测试集看成一个间接的对学习过程发现的内部表示的相关度的度量，而且我们认为这些中间的表征比标准测试集的更加一般。

很多高度工程化的NLP系统解决标准测试任务的时候使用线性统计模型应用在任务相关的特征上。换句话说，这些研究者本身已经通过特征工程发现了中间的表征。这些特征一般是从preexisting系统的输出中产生，而后产生复杂的运行时依赖关系。这个观点比较有效因为研究者们提升了语言知识的大多数部分的层次。另一方面，有一种过度工程的现象来为了让某种测试集的效果达到最好而放弃了其在NLP中的泛化能力。

在这个贡献中，我们描述了一个统一的NLP系统，在若干的测试集上都达到了较好的性能，通过发现其自身的内部表征。我们已经尽可能多地避免了工程特征，并且我们因此也忽略了大部分的语言知识。通过转化在海量未标记数据发现的中间表示我们也达到了最新的研究水平。我们称文章“almost from scratch”就是来强调这种对先验的NLP知识的弱化（尽管知识本身是很重要的）

第二节描述了目标测试任务。第三节描述了统一的模型和监督学习的测试结果。第四节使用了相当大得未标记数据集来训练这个模型。巨大的性能提升，通过将无监督的内部表征转换为监督测试集的模型。第五节则调查了多个任务的监督训练。第六节验证了有多大的提升可以被达到通过使用经典的NLP工程技术在我们的系统中。接着我们总结全文。

标准测试任务

POS
CHUNK
NER
SRL