用通俗易懂的方式讲解:灵魂 20 问帮你彻底搞定Transformer

大家好,今天总结一下史上最全 Transformer 面试题

  1. Transformer为何使用多头注意力机制?(为什么不使用一个头)
  2. Transformer为什么Q和K使用不同的权重矩阵生成,为何不能使用同一个值进行自身的点乘?
    (注意和第一个问题的区别)
  3. Transformer计算attention的时候为何选择点乘而不是加法?两者计算复杂度和效果上有什么区别?
  4. 为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根),并使用公式推导进行讲解
  5. 在计算attention score的时候如何对padding做mask操作?
  6. 为什么在进行多头注意力的时候需要对每个head进行降维?(可以参考上面一个问题)
  7. 大概讲一下Transformer的Encoder模块?
  8. 为何在获取输入词向量之后需要对矩阵乘以embedding size的开方?意义是什么?
  9. 简单介绍一下Transformer的位置编码?有什么意义和优缺点?
  10. 你还了解哪些关于位置编码的技术,各自的优缺点是什么?
  11. 简单讲一下Transformer中的残差结构以及意义。
  12. 为什么transformer块使用LayerNorm而不是BatchNorm?LayerNorm 在Transformer的位置是哪里?
  13. 简答讲一下BatchNorm技术,以及它的优缺点。
  14. 简单描述一下Transformer中的前馈神经网络?使用了什么激活函数?相关优缺点?
  15. Encoder端和Decoder端是如何进行交互的?(在这里可以问一下关于seq2seq的attention知识)
  16. Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别?(为什么需要decoder自注意力需要进行 sequence mask)
  17. Transformer的并行化提现在哪个地方?Decoder端可以做并行化吗?
  18. 简单描述一下wordpiece model 和 byte pair encoding,有实际应用过吗?
  19. Transformer训练的时候学习率是如何设定的?Dropout是如何设定的,位置在哪里?Dropout 在测试的需要有什么需要注意的吗?
  20. 引申一个关于bert问题,bert的mask为何不学习transformer在attention处进行屏蔽score的技巧?

答案解析

其实这20个问题不是让大家背答案,而是为了帮助大家梳理 transformer的相关知识点,所以你注意看会发现我的问题也是有某种顺序的。

问题基本上都可以在网上找到答案,所以大家可以先去搜一搜,自己理解一下。如果想要梳理好的完整答案,也可以进我们交流群获取

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了NLP面试与技术交流群, 想要进交流群、需要本文源码、提升技术的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司+CSDN,即可。然后就可以拉你进群了。

方式①、添加微信号:mlc2060,备注:面试资料
方式②、微信搜索公众号:机器学习社区,后台回复:面试资料

文章精选

  • 深度学习&大模型

用通俗易懂的方式讲解:吴恩达倾情推荐28张图,全解深度学习知识!

用通俗易懂的方式讲解:LSTM原理及生成藏头诗(Python)

用通俗易懂的方式讲解:超详细!大模型面经指南(附答案)

  • NLP方向

用通俗易懂的方式讲解:自然语言处理初学者指南

用通俗易懂的方式讲解:一文讲透NLP算法(Python)

用通俗易懂的方式讲解:NLP 方向最全面试题库

用通俗易懂的方式讲解:NLP 这样学习才是正确路线

用通俗易懂的方式讲解:TF-IDF算法介绍及实现

用通俗易懂的方式讲解:总结NLTK使用方法

用通俗易懂的方式讲解:针对中文的自然语言预处理方法汇总

用通俗易懂的方式讲解:NLP常见语言模型及数据增强方法总结

用通俗易懂的方式讲解:TextRank 算法介绍及实现

用通俗易懂的方式讲解:关键词提取方法总结及实现

用通俗易懂的方式讲解:实体关系抽取入门教程

你可能感兴趣的:(NLP与大模型,transformer,深度学习,人工智能,LLM,自然语言处理)