自然语言处理学习总结

1、将语义信息转化为向量

2、使用一个单词的上下文来了解这个单词的语义（word2vec算法）

CBOW：在学习过程中，使用上下文的词向量推理中心词，这样中心词的语义就被传递到上下文的词向量中，如“Spiked → pineapple”。

Skip-gram：在学习过程中，使用中心词的词向量去推理上下文，这样上下文定义的语义被传入中心词的表示中，如“pineapple → Spiked”。

3.为了缓解vocab_size通常很大（几十万甚至几百万），导致W0W_0W0​和W1W_1W1​也会非常大问题，通常采取负采样（negative_sampling）的方式来近似模拟多分类任务。

4.在skip-gram的网络结构中，使用的最关键的API是paddle.nn.Embedding函数，实现Embedding的网络层。

该接口用于构建 Embedding 的一个可调用对象，其根据input中的id信息从embedding矩阵中查询对应embedding信息，并会根据输入的size (num_embeddings, embedding_dim)自动构造一个二维embedding矩阵。

5.使用word2vec模型的过程中，得到整个词表的word embedding之后，对任意词都可以基于向量乘法计算出跟这个词最接近的词。