abstract of Percy Liang's tutorial

Neil Zhu，ID Not_GOD，University AI 创始人 & Chief Scientist，致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标，带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者，他和UAI一起在2014年创建了TASA（中国最早的人工智能社团）, DL Center（深度学习知识中心全球价值网络），AI growth（行业智库培训）等，为中国的人工智能人才建设输送了大量的血液和养分。此外，他还参与或者举办过各类国际性的人工智能峰会和活动，产生了巨大的影响力，书写了60万字的人工智能精品技术内容，生产翻译了全球第一本深度学习入门书《神经网络与深度学习》，生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程，均受学生和老师好评。

目标

提供一些关于自然语言的直觉
描述当前最新的方法
挑战或者机遇

语言分析的层级

语法
语义
语用

类比程序设计语言

语法：无编译错误
语义：无实现bug
语用：实现正确的算法
不同的语法，相同的语义（5）：2 + 3 = 3 + 2
相同的语法，不同的语义（1 and 1.5）：3/2 python2.7 ~= 3/2 python 3
好的语义，坏得语用：DNN的好实现用作硬币正反概率的估计

语义

依赖分析树：

Paste_Image.png

Parts of Speech：

• NN：常用名词
• NNP：专有名词
• VBZ：动词，第三人称单数
  依赖关系：
• nsubj：subject（nominal）
• nmod：modifier（nominal）

复合语义

模型论和复合性

Distributional semantics

• 观察：上下文可以告诉我们关于词含义很多的信息
• 上下文：包围着词的局部的窗口
• 语言学根据：
• distributional hypothesis：语义相似的词出现在相似的上下文中[Harris, 1954]
• "You shall know a word by the company it keeps."[Firth, 1957]
• 对比：Chomsky 生成文法（大量的隐藏先验结构，无数据）
• Upshot：数据驱动

通常的流程

1. 产生一个 word-context 矩阵

   
   
   

   Paste_Image.png

2. 执行降维（通用化）

   
   
   

   Paste_Image.png

Latent semantic analysis

• 数据：
• Doc1: Cats have tails.
• Doc2: Dogs have tails.
• 矩阵：contexts = word 出现的文档

Paste_Image.png

• 降维：SVD

Paste_Image.png

• 用作信息检索
• 匹配查询和文档在潜在空间而不仅仅是关键词

非监督的POS归约

• 数据：
• Cats have tails.
• Dogs have tails.
• 矩阵：contexts = 在左边和在右边的词

Paste_Image.png

• 降维：SVD

上下文的效果

假设 Barack Obama 总是一起出现（collocation）

• 全局上下文（文档）：
• 同样的上下文：\theta_{Barack} ~ \theta_{Obama}
• 更加的“语义”
• 局部上下文（邻居）：
• 不同的上下文：\theta_{Barack} 与 \theta_{Obama} 相差较多
• 更加“语法”

Skip-gram model with negative sampling

• 数据：
• Cats and dogs have tails.
• 形成矩阵：contexts = 在窗口中的词

Paste_Image.png

• 降维：logistic regression with SGD
• 模型：使用logistic regression预测好的(w,c)

Paste_Image.png

• 正例：(w,c) 来自数据

• 反例：(w,c') 来自不相关的 c' (k times more)
  +(cats, AI), -(cats, linguistics), -(cats, statistics)

• 数据分布：

Paste_Image.png

• 目标函数：

Paste_Image.png

如果没有降维：

Paste_Image.png

最近邻

类比

上下文向量刻画的不同关系：
θking − θman ≈ θqueen − θwoman (gender)
θfrance − θfrench ≈ θmexico − θspanish (language)
θcar − θcars ≈ θapple − θapples (plural)