静态词向量预训练模型笔记

静态词向量预训练模型笔记

Word2Vec词向量

CBOW:通过上下文对目标位置词进行预测。
Skip-gram:通过目标位置词对上下文词进行预测。

分布式假设

相邻的单词之间相似度较大

负样本

给定当前词与其上下文,最大化两者共现的概率。(负样本较多,使用此方法采用负样本,使得负样本数量变少)

你可能感兴趣的:(学习整理,机器学习,深度学习,概率论)