Transformer在CV领域相比CNN的优点

一.transformer能解决CNN需要堆叠很多层的问题


cnn在提取目标特征的时候需要通过卷积核来一步一步提取,但是每一层的感受野都非常小,要想得到全局的特征,必须堆叠很多层才行。

而在VIT这篇文章中通过将图片划分成很多个patch后通过一个token来与其他patch进行交互,从而在第一层就能得到全局的信息

Transformer的缺点

需要的训练数据太大

你可能感兴趣的:(transformer,cnn,深度学习)