RNN、Seq2Seq和Attention注意力机制的学习

RNN、Seq2Seq、Attention注意力机制的学习


对学习link作总结,方便查阅

1、NLP中的RNN、Seq2Seq与attention注意力机制
2、【学习笔记】注意力机制(Attention)
3、小白都能看懂的超详细Attention机制详解tips:这个链接的评论里有对Q K V非常通俗易懂的解释。
4、自注意力机制是注意力机制的变体,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性
Attention注意力机制与self-attention自注意力机制
5、自注意力机制的计算过程包括在这个链接
十分钟理解Transformer
6、MASK的解释掩膜(mask)
7、归一化,normalization,简写norm:如何理解归一化
8、Embedding学习
“embedding层,在某种程度上,就是用来降维的,降维的原理就是矩阵乘法。在卷积网络中,可以理解为特殊全连接层操作,跟1x1卷积核异曲同工”
“既然可以降维,Embedding层当然也可以升维
一文读懂Embedding的概念,以及它和深度学习的关系
9.傅里叶变换
傅里叶分析之掐死教程(完整版)更新于2014.06.06

md数学知识忘了好多
看傅里叶专栏文章,感觉MATLAB绘图好有用,是不是也需要学习一下?
信号与系统,感觉可以抽空学习一下……
——求学路漫漫啊

你可能感兴趣的:(小白学习之路,rnn,学习,深度学习)