Transformer|1.4 CNN遇到的问题与窘境

文章目录

  • CNN遇到的问题与窘境
  • transformer 的优势

CNN遇到的问题与窘境

Transformer|1.4 CNN遇到的问题与窘境_第1张图片
判断一个人是否为美人,既要看她各个五官,也要看她各个五官占的比例和协调。
既要照顾好局部信息,也要照顾好全局信息。
局部信息用小的感受野进行感受,而全局信息用大的感受野进行感受。
Transformer|1.4 CNN遇到的问题与窘境_第2张图片

transformer 的优势

Transformer|1.4 CNN遇到的问题与窘境_第3张图片
0号token在第一层就可以看到其它所有的token。
而CNN在多层卷积后才有这个机会。(比如最开始是3x3的卷积,下一层是9x9的卷积,只有在下一层时才能够看到其他8个3x3的卷积部分)
Transformer|1.4 CNN遇到的问题与窘境_第4张图片

Transformer|1.4 CNN遇到的问题与窘境_第5张图片

你可能感兴趣的:(transformer,深度学习,图神经网络,transformer,cnn,深度学习)