transformer学习笔记

transformer学习笔记_第1张图片

transformer的作用:已经实现了语音和图像的通用技术。

新一代的backbone,传统的深度学习依赖于网络结构的设计。

transformer学习笔记_第2张图片

2017年 transformer

2018年 BERT

2020年 GPT3

2020年 DERT

2020年 VIT

transformer学习笔记_第3张图片

Q:查询矩阵 查询别人

K:键值矩阵 被查

V:数值矩阵 特征表达

transformer学习笔记_第4张图片

embedding

transformer学习笔记_第5张图片

你可能感兴趣的:(transformer,学习,笔记)