嵌入层(embedding)(自然语言处理)

作用1:降维:因为使用独热编码虽然计算简单,但是占用太多不必要的资源,所以使用嵌入层(embedding)进行降维,和1*1卷积有异曲同工之妙。

作用二:升维:
因为有时候图片降维后的特征只能笼统的模糊的显示出图像的主要特征,当我们需要发现图片中的一些细节时,就需要对图片进行升维。
独热向量,每句话之间都是独立的,关联为0,而embedding让每个向量之间有了关联,实质上是通过矩阵相乘,线性变换的方式,建立一个查表,让输入的x通过查表将一个稀疏矩阵变成一个稠密矩阵。

你可能感兴趣的:(rnn,pytorch,深度学习,人工智能,自然语言处理)