【台大李宏毅ML课程】Lecture 14 Word Embedding笔记

本节课主要讲了无监督学习——word embedding的一些基本概念

1.word embedding（word2vector）
传统的1 of N encoding（或者one-hot独热编码）的表示法过于稀疏，不可取。所以考虑将每个word映射到另一个空间里去

machine通过阅读很多documents来理解语义，从而可以达到word embedding的目的

2.How about Auto-encoder？
auto-encoder好像只是简单的将word编个码，降维，可能相近的词还会离得很远。而word embedding目的是意思相近离的很近，需要进行一些上下文的理解。比如：
ma 520宣誓就職
cai 520宣誓就職
ma和cai都是名字，很接近~

3.常见方式
count-based：如果两个词频繁的同时出现，那么它们在空间中相近
prediction-based：考虑了上下文

4.prediction-based
基本思想：
上一个词为输入，下一个词为输出，中间层作为word vector

比如，cai和ma就非常接近

训练的时候采用最小化交叉熵原理进行训练

prediction-based其他变形