二分类改进CBOW

解决问题二：中间层的神经元和权重矩阵的乘积、Softmax 层的计算需要花费很多计算时间

第k个单词的 Softmax 的计算式如下，其中Si是第i个单词的得分。这个计算也与词汇量成正比，所以需要一个替代Softmax的计算。

使用 Negative Sampling (负采样) 替代 Softmax。也就是用二分类拟合多分类。

多分类问题：从100万个单词中选择1个正确单词。

二分类问题：处理答案为是或否的问题，比如目标词是 say 吗。

让神经网络来回答：当上下文是 you 和 goodbye 时，目标词是 say 吗？

这时输出层只需要一个神经元，神经元输出的是 say 的得分。

仅计算目标词得分的神经网络如下。

上面这个图，中间层是one-hot 表示矩阵和权重矩阵的乘积，也就是权重矩阵的某个特定行。

当输出侧神经元只有一个的时候，计算中间层和输出侧的权重矩阵的乘积，只需要提取输出侧权重矩阵的某一列(目标词所在的列)，将提取的这一列与中间层进行内积计算。示意图如下图。<