Transformer比CNN好在哪?

Transformer比CNN好在哪?

参考:https://www.bilibili.com/video/BV1L3411x7hw

一、Data scale

计算机视觉发展遇到data scale的瓶颈

CNN很多模型适用于监督性学习,CNN对海量数据的适配能力没有想象中的要好
Transformer对大数据的适配能力很好,可以明显地看到随着数据量的增加,模型的表现越来越好

二、Static and Dynamic

CNN很多学习的参数的静态参数,学完就fixed不动了
Transformer每个参数是可以动态的(Dynamic)

三、Interest point and Attention

interest point可以学到哪些点是更突出的,更有表达力的
attention更关注feature彼此之间的相互关系

CNN可以通过级联的关系学习到不同scale上的template,也就是interest point
Transformer学到的更多是attention学到的feature彼此之间的相互关系,普适性更好,不完全依赖于数据本身;关注的不仅仅是local信息,有一个从local到global这样的一个扩散的机制去寻找表达

四、Interest point + Attention

CNN学习到的feature有平移不变性,包括scale不变性和distortion不变性
Transformer不具备,所以将Transformer运用到目标检测问题上会出现一些问题
所以有了DETR(CNN+Transformer)

你可能感兴趣的:(transformer,cnn,深度学习)