CS224D:Deep Learning for NLP Note1

keywords: Word Vectors, SVD, Skip-gram. Continuous Bag of Words(CBOW). Negative Sampling.
关键词:词向量,奇异值分解,Skip-gram,CBOW,负抽样

词向量

One-hot vector: Represent every word as an R|V|×1 vector with all 0s and one 1 at the index of that word in the sorted english language
V 为词典大小

CS224D:Deep Learning for NLP Note1_第1张图片

  • 相似度距离无法计算

SVD

CS224D:Deep Learning for NLP Note1_第2张图片

CBOW:从上下文预测中心词

CS224D:Deep Learning for NLP Note1_第3张图片

算法

CS224D:Deep Learning for NLP Note1_第4张图片
CS224D:Deep Learning for NLP Note1_第5张图片

模型

CS224D:Deep Learning for NLP Note1_第6张图片

Skip-gram:中心词预测上下文

CS224D:Deep Learning for NLP Note1_第7张图片

算法

CS224D:Deep Learning for NLP Note1_第8张图片

模型

CS224D:Deep Learning for NLP Note1_第9张图片

目标函数

朴素贝叶斯假设:输出词之间相互独立

CS224D:Deep Learning for NLP Note1_第10张图片

负抽样

负样本过大,计算复杂
负样本抽样之后,优化目标函数的目的变为:正负样本预测正确的概率均比较大时才是全局最有
D帽为负样本集合

CS224D:Deep Learning for NLP Note1_第11张图片

你可能感兴趣的:(自然语言处理,nlp)