CNN+Transformer

CNN+Transformer的模型可参考ViT模型，注意，此模型是基于大量数据集基础上才达到SOTA的（15M-300M时才能体现出模型的优势），数据量较少时效果不佳。
（1）CNN特征提取能力强，transformer可以更好的获取依赖关系。通过token的方式将CNN提取的特征转化，使用transformer进行分类。例如：Visual Transformers: Token-based Image Representation and Processing for Computer Vision论文
（2）修改Transformer基本结构，添加多个卷积单元，提取图像特征。例如论文：CvT: Introducing Convolutions to Vision Transformers