【Transformer】不仅NLP领域,它在CV界也很火。Transformer基础介绍,附:注意力机制,TNT介绍

目录

  • 基本介绍
    • 0. 什么是Transformer?
    • 1.Transformer 为什么这么火?
    • 2. 回忆:Transformer 是如何干活儿的?
    • 3. 注意力机制(attention mechanism)
    • 4. 整体架构 之 Encoder部分
    • 5. CNN遇到的问题与窘境
    • 6. 公式简析
    • 6. Transformer的格局
    • 7. 位置编码
    • 8. TNT

基本介绍

0. 什么是Transformer?

处理机器翻译任务时,用什么模型比较好呢?RNN是个不错的选项,单词的先后顺序会影响句子的意义,擅长捕捉序列关系的它是个不错的选项。

不过对于翻译来说,句子间的单词数量并非是一一对应的。受限于结构,RNN 只能实现 N to N,1 to N 或是 N to 1。对这种 N to M的问

你可能感兴趣的:(transformer,深度学习,CV,Attention,注意力机制)