关于Embedding 操作的理解

1. 什么是embedding

embedding的本质是用一个较低维度的向量来代替较高维度的原始特征。在推荐系统中,原始向量往往会用超高维的稀疏one-hot向量来表示,使用embedding可以用较低的维度(即embedding size)来表示高维稀疏的特征,方便进行后续的模型训练。

2. 如何实现

关于Embedding 操作的理解_第1张图片

如图所示,embedding的操作可以视为一个全连接层,​ u \boldsymbol u u是embedding之前的序列,​

你可能感兴趣的:(深度学习,自然语言处理,算法)