改进版的CBOW模型

复习

首先复习一下之前的CBOW笔记。

采用推理的方法认知单词、CBOW模型这里面主要是：

CBOW模型的核心思路：给出周围的单词（上下文）时，预测目标词处会出现什么单词。

要用神经网络处理单词，需要先将单词转化为固定长度的向量，这就引出了单词的表示。

单词的表示：将单词转化为固定长度的向量(one-hot 表示)，神经网络的输入层的神经元个数就可以固定下来。

CBOW模型：它是根据上下文预测目标词的神经网络。模型的输入是上下文。大致结构如下。

上图中的Win和Wout都是矩阵，也就是说，全连接层变换可以看作是输入层与矩阵相乘。由此引出矩阵乘积层(MatMul)的实现，这里面：

提到了反向传播：

拿下图举例子，反过来的箭头指向的那个心是2.2，意思就是，如果jym用心程度增加1，那么jym就能多获得2.2×1=2.2个npy。也就是说，反向传播目的就是看出输入的变化对输出有何影响(偏导)。