采用推理的方法认知单词、CBOW模型

基于计数的方法，根据一个单词周围的单词的出现频数来表示该单词。需要生成所有单词的共现矩阵，再对这个矩阵进行 SVD，以获得密集向量，如果语料库处理的单词数量非常大，将需要大量的计算资源和时间。基于计数的方法使用整个语料库的统计数据(共现矩阵、PPMI)，通过一次处理(SVD)获得单词的分布式表示。

基于推理的方法，使用神经网络，在 mini-batch 数据上进行学习，神经网络一次只需要看一部分学习数据（mini-batch），并反复更新权重。神经网络的学习可以使用多台机器、多 个 GPU 并行执行，从而加速整个学习过程。

如果需要向词汇表添加新词并更新单词的分布式表示，基于计数的方法需要从头开始计算，重新完成生成共现矩阵、进行 SVD 等一系列操作。基于推理的方法（word2vec）允许参数的增量学习。可以将之前学习到的权重作为下一次学习的初始值，在不损失之前学习到的经验的情况下，高效地更新单词的分布式表示。

推理：当给出周围的单词（上下文）时，预测“？”处会出现什么单词。

基于推理的方法：输入上下文，模型输出各个单词的出现概率。这个模型接收上下文信息作为输入，并输出（可能出现的）各个单词的出现概率。作为模型学习的产物，也能得到单词的分布式表示。如下图所示。