PGL 系列（三）词向量 Skip-gram

环境

• python 3.6.8
• paddlepaddle-gpu 2.3.0
• numpy 1.19.5

一、Skip-gram概念

Skip-gram：根据中心词推理上下文

• 在Skip-gram中，先在句子中选定一个中心词，并把其他词作为这个中心词的上下文。
• 如 上图 Skip-gram所示，把“spiked”作为中心词，把“Pineapples、are、and、yellow”作为中心词的上下文。不同的是，在学习过程中，使用中心词的词向量去推理上下文，这样上下文定义的语义被传入中心词的表示中，如“pineapple → spiked”， 从而达到学习语义信息的目的。
•  在生僻字（出现频率低的字）处理上，skip-gram比CBOW效果更好，原因是skip-gram不会刻意回避生僻字。

二、算法原理