CS224d lecture01 学习笔记

CS224d lecture 01 学习笔记

1.NLP levels

        语音                文本
       语音分析            文本识别
            对单词结构的形态分析
                  句法分析
                  语义理解：大部分利用上下文来理解

2.NLP applications

（1）拼写检查、关键字搜索、同义词联想等
（2）信息抽取、情感分析等
（3）机器翻译、对话系统、问答系统等

3.自然语言

自然语言是传递信息的，离散、符号化、分类的符号体系。
自然语言处理难在：
（1）人类语言模棱两可
（2）多省略

4.深度学习+NLP

进展：
（1）各种语言学层次：词汇学、句法学、语义学。
（2）工具和算法：词性标注、实体识别、分词。
（3）应用：机器翻译、情感分析、对话助手、问答系统。
深度学习模式运用同样的一套工具和技术，非常统一的方法，解决各个领域的问题。有一套很小的核心工具箱，以很高的准确性解决各种问题。

5.词汇->向量

深度学习和语言，都以词义为起点。
词义->数字向量（高维）
深度学习学习单词向量，把单词放到高维向量空间 =>语义空间（具有相似含义的词汇在矢量空间中形成聚集块）
向量空间存在方向，显示了单词向量成分和意义的信息。

6.Details

1.形态分析

• 传统方法：将复杂单词看做由更小单元的词素组成
  
• DL：将单词的成分看成代表单词部分含义的各个向量，再创建一个神经网络，用小块单元构建更大的意义单元。
  

2.神经网络能准确找出句子结构，发现句法停顿处。

3.语义分析

• 传统方法：Lambda 演算（基于微积分的语义理论），对每个单词手动地赋予语义函数，再用算法将词汇意义结合，获得一种语义表达。
  -
• DL：以向量表示单词->短语->更长的短语->句子的含义
  -