Embedding(嵌入层)和Dense(全连接层)的区别是什么?

  • Embedding层没有bias和activation,这是与Dense层计算过程中最重要的区别

  • 嵌入层描述的一种功能,全连接层描述的是一种结构,二者的划分方式不同

  • embedding是一种思想,将高维稀疏tensor压缩为低维稠密tensor,方便表示和计算。

  • 全连接层是实现embedding的一种方式,但全连接不只是能用来产生embedding,还可以做其他很多事。

参考知乎回答
https://www.zhihu.com/question/344209738

你可能感兴趣的:(深度学习,人工智能)