【笔记3-1】CS224N课程笔记 - 深度自然语言处理

【笔记3-2】CS224N课程笔记 - 词向量表示 word2vec
【笔记3-3】CS224N课程笔记 - 高级词向量表示
【笔记3-4】CS224N课程笔记 - 分类与神经网络
【笔记3-5】CS224N课程笔记 - 依存分析
【笔记3-6】CS224N课程笔记 - RNN和语言模型
【笔记3-7】CS224N课程笔记 - 神经机器翻译seq2seq注意力机制
【笔记3-8】CS224N课程笔记 - 卷积神经网络

CS224n：深度学习的自然语言处理（2017年冬季）1080p https://www.bilibili.com/video/av28030942/

关键词：自然语言处理概念；任务；深度学习与机器学习

深度学习自然语言处理

什么是自然语言处理 (NLP)?

NLP= computer science + artificial intelligence + linguistics
自然语言处理可以视为多个领域的组合，涉及到计算机科学，AI人工智能，以及语言学知识，属于一个包含多学科的综合领域。

自然语言处理的目标:
使得计算机能够处理或者“读懂”自然语言，以完成一些有用的任务。

但是，完全理解或者展示语言所包含的意思（甚至是对语言进行定义）是一件非常困难的事情。

Perfect language understanding is AI-complete

NLP 的层级以及涉及的领域:
自然语言涉及的领域很多，该课程主要专注syntactic analysis和semantic interpretation部分，即语法分析和语义解释。

NLP 的应用:

1. 简单任务：语法纠正，关键词搜索 (written and spoken), 寻找同义词
2. 中等任务：从网页当中提取信息
3. 复杂任务：分类（情感分析），机器翻译，对话系统 (Chatbots/Dialog agents) ，复杂的问答，线上广告匹配，指代消解

人类语言有什么独特之处?
人类语言是一套用于传达说话者/写作者观点的特别构造的系统。它具有以下特点：deliberate communication, easily learned and quickly changed

是一套离散的/象征性的/有类别的信号系统。

可以通过多种方式来进行表达（文字，手势等）

什么是深度学习 (DL)?

机器学习的一个子领域。

为什么机器学习模型的效果好？ 人为设计的特征和表示决定了机器学习模型效果的好坏

机器学习 vs. 深度学习:
机器学习: 用特征来描述数据，主要在于学习算法，最优化权值
深度学习: 自动学习好的特征或表示。通过模型的输入（输入层）自动学习特征/表示（即隐藏层捕捉到的特征）并进行输出（输出层）。
为什么需要深度学习:

1. 在机器学习中，人为设计的特征往往过于特殊，对于某些数据集可能表现较好，但泛化能力差，并且模型特征构造不足会直接影响模型的效果，需要较长的时间来设计特征。
2. 深度学习可以快速地学习特征，并根据不同的数据集及时进行改变
3. 深度学习为词汇/视觉信息/语言信息表示提供了一个非常灵活，普遍适用，且容易学习的网络。
4. 适用于监督学习和非监督学习

深度学习的发展:
数据 + 机器的发展 + 新模型/算法的提出共同推动了深度学习的发展。
从语音识别发展到计算机视觉。

NLP难在哪里?

知识的表示，学习和使用都很复杂
人类知识含义当中的不确定性