skip gram模型的实现

CBOW模型的概率表示：

P(A)：A发生的概率。

P(A,B)：事件A和事件B同时发生的概率，称为联合概率。

P(A|B)：在给定事件B的信息后，事件A发生的概率，称为后验概率。

CBOW模型：当给定某个上下文时，输出目标词的概率。

用数学式来表示给定上下文wt-1和wt+1时目标词为wt的概率：

交叉熵误差函数公式：yk是神经网络的输出， tk是正确解标签， k表示数据的维数。如果标签为one-hot表示，即tk中只有正确解标签索引为1，其他均为0 。那么式子只计算对应正确解标签的输出的自然对数。

CBOW 模型的损失函数（一 笔样本数据的损失函数）：

CBOW 模型的损失函数（扩展到整个语料库）：