深度学习中，embedding如何理解？

深度学习中，embedding如何理解？

参考：https://www.zhihu.com/question/38002635/answer/1382442522

1）这个概念在深度学习领域最原初的切入点是所谓的Manifold Hypothesis（流形假设）。流形假设是指“自然的原始数据是低维的流形嵌入于(embedded in)原始数据所在的高维空间”。那么，深度学习的任务就是把高维原始数据（图像，句子）映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入（Embedding）。比如Word Embedding，就是把单词组成的句子映射到一个表征向量。但后来不知咋回事，开始把低维流形的表征向量叫做Embedding，其实是一种误用。。。

如果按照现在深度学习界通用的理解（其实是偏离了原意的），Embedding就是从原始数据提取出来的Feature，也就是那个通过神经网络映射之后的低维向量。

	作者：刘斯坦
	链接：https://www.zhihu.com/question/38002635/answer/1382442522
	来源：知乎

2）总结embedding有以下三个作用：

• 通过计算用户和物品或物品和物品的Embedding相似度，来缩小推荐候选库的范围。

• 实现高维稀疏特征向量向低维稠密特征向量的转换。

• 训练好的embedding可以当作输入深度学习模型的特征。
  无论embedding在模型中最终起到哪些重要的作用，在对embedding的本质理解上，它自始至终都是用一个多维稠密向量来对事物从多维度进行的特征刻画。

   作者：DeePR
   链接：https://www.zhihu.com/question/38002635/answer/1045883713
   来源：知乎
  

3）个人理解。

• embedder类似于一个encoder，都是输出一个【原数据抽象后的特征】。
• 区别是：encoder一般结构比较复杂，embedder结构一般较简单。
• 有时，paper中在encoder中又用到了embedder，因此会分为两个名词。
• 有些情况下，把embedder写作encoder也没错。