Embedding改进CBOW

假设词汇量为 100 万个时的 CBOW 模型如下，输入层和输出层存在 100 万个神经元。

下面两个问题导致耗时严重。

问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多，计算 one-hot 表示与权重矩阵 的乘积，需要花费大量时间。

问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算，花费大量时间。

解决问题一：

计算one-hot 表示矩阵和权重矩阵的乘积，其实就是将权重矩阵的某个特定的行取出来。如下图所示。

Embedding 层：一个从权重矩阵中抽取单词ID对应行(向量)的层。

使用 params 和 grads 作为成员变量，params中保存要学习的参数，grads中保存梯度。并在成员变量 idx 中以数组的形式保存需要提取的行的索引(单词ID)。