【深度学习】embedding的简单理解

一、简单理解

特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。

例如，针对用于说话者识别的语音信号训练的模型可以允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里德距离）。

embedding的主要目的是对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过 embedding 层的权重矩阵计算来降低维度。

二、其他通俗理解

• 如果按照现在深度学习界通用的理解（其实是偏离了原意的），Embedding就是从原始数据提取出来的Feature，也就是那个通过神经网络映射之后的低维向量。
• 然而在一些问题中，高维空间增大了研究难度，因此要将高维还原成低维。深度学习也用了这个概念，一般把原始特征(即一些浅显的、直接抽取出来的特征，例如颜色等)认为是一些低维、本质性的特征组合成的，组合出来的结果即原始特征就是高维的。他们一开始把「高维原始特征数据降维成低维数据」这个过程叫embedding，结果后来用着用着直接把降维结果叫成embedding了，属于是动词变名词了。因此，看到embedding feature就知道这东西有两个性质：一是它是通过某些编码网络得来的，比原始特征维度低；而是认为这种特征比较高级，各维度关联性低，属于是更接近本质了。
• 在机械学习领域，Embedding指的是把某一个距离空间嵌入另一个距离空间。比如把图像空间嵌入特征空间，实际操作就像你说的抽特征向量。之所以叫嵌入是因为我们可以把多个距离空间嵌入同一个距离空间。比如图像空间和文本空间本来是两个完全独立的空间，但我们可以把它们嵌入同一个特征空间，使我们可以直接测量图像和文本之间的距离。这时的特征空间是个更大的集合（空间中的点既可以是图像也可以是文本），而图像空间和文本空间是更小的集合（只能是图像或文本）。所以用嵌入来形容这种操作。