【程序员 NLP 入门】词嵌入 - 如何基于计数的方法表示文本？ （★小白必会版★）

嗨，你好，我是 青松 ！

希望用我的经验，让“程序猿”的AI学习之路走的更容易些，若我的经验能为你前行的道路增添一丝轻松，我将倍感荣幸！共勉~

---

【程序员 NLP 入门】词嵌入 - 如何基于计数的方法表示文本？ （★小白必会版★）

---

词嵌入核心问题：

一、动因篇

• 什么是词向量化技术？
• 如何让向量具有语义信息？

二、基于统计的方法

• 如何基于计数的方法表示文本？
• 上下文中的窗口大小是什么意思？
• 如何统计语料的共现矩阵？
• 基于计数的表示方法存在哪些问题？

三、基于推理的方法

• Word2Vec的两种模型分别是什么？
• Word2Vec 中 CBOW 指什么？
• Word2Vec 中 Skip-gram 指什么？
• CBOW 和 Skip-gram 哪个模型的词嵌入更好？

四、问题优化篇

• Word2Vec训练中存在什么问题？
• Word2Vec如何优化从中间层到输出层的计算？
  • 用负采样优化中间层到输出层的计算
  • 负采样方法的关键思想
  • 负采样的采样方法
• 为什么说Word2vec的词向量是静态的？
• Word2vec的词向量存在哪些问题？

---

如何基于计数的方法表示文本？

重要性：★

基于分布式假设使用向量表示单词，最直截了当的实现方法是对周围单词的数量进行计数。具体来说，在关注某个单词的情况下，对它的周围出现了多少次什么单词进行计数，然后再汇总，汇总后所得的矩阵称之为共现矩阵。我们将这种做法称为“基于计数的表示方法”。