【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思？ （★小白必会版★）

嗨，你好，我是 青松 ！

希望用我的经验，让“程序猿”的AI学习之路走的更容易些，若我的经验能为你前行的道路增添一丝轻松，我将倍感荣幸！共勉~

---

【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思？ （★小白必会版★）

---

词嵌入核心问题：

一、动因篇

• 什么是词向量化技术？
• 如何让向量具有语义信息？

二、基于统计的方法

• 如何基于计数的方法表示文本？
• 上下文中的窗口大小是什么意思？
• 如何统计语料的共现矩阵？
• 基于计数的表示方法存在哪些问题？

三、基于推理的方法

• Word2Vec的两种模型分别是什么？
• Word2Vec 中 CBOW 指什么？
• Word2Vec 中 Skip-gram 指什么？
• CBOW 和 Skip-gram 哪个模型的词嵌入更好？

四、问题优化篇

• Word2Vec训练中存在什么问题？
• Word2Vec如何优化从中间层到输出层的计算？
  • 用负采样优化中间层到输出层的计算
  • 负采样方法的关键思想
  • 负采样的采样方法
• 为什么说Word2vec的词向量是静态的？
• Word2vec的词向量存在哪些问题？

---

上下文中的窗口大小是什么意思？

上下文是指某个居中单词的周围词汇。这里，我们将上下文的大小（即周围的单词有多少个）称为窗口大小（window size）。窗口大小为1，上下文包含左右各1个单词；窗口大小为2，上下文包含左右各2个单词。

窗口大小为2的上下文例子。在关注goodbye时，将其左右各2个单词用作上下文