接上一篇
P7 P8
Vision Transformer(ViT)
![人工智能培训老师讲师叶梓:计算机视觉领域的自监督学习模型——MAE-4_第1张图片](http://img.e-com-net.com/image/info8/30ed655697a3496d8c7f614997f977aa.jpg)
思路上借鉴了CNN的局部特征抽取
n ViT 将 CV 和 NLP 领域知识结合起来,对原始图片进行分块,展平成序列,输入进原始 Transformer 模型的编码器 Encoder 部分,最后接入一个全连接层对图片进行分类。
n 在大型数据集上表现超过了当时的 SOTA 模型。
n ViT 尽可能地遵循原始的 transformer 。
Vision Transformer(ViT)
![人工智能培训老师讲师叶梓:计算机视觉领域的自监督学习模型——MAE-4_第2张图片](http://img.e-com-net.com/image/info8/9698f6c9c6ae478e80f429a3963f6688.jpg)
n 类似 BERT 的 [class] token ,在可嵌入的 Patch 序列 ( 0 0 Z_0^0 = x class ) 之前准备了可学习的 embedding 向量,该序列在 Transformer 编码器的输出 ( 0 Z_L^0 ) 的状态用作图像表示 y 。
n 在预训练和微调期间,都将分类 head 连接到 0 Z_L^0 。分类 head 是通过在预训练时具有一个隐藏层的 MLP 以及在微调时通过一个线性层的 MLP 来实现的。
n 位置 embedding 会添加到 patch embedding 中,以保留位置信息。对于 position emb 采用 1-D embedding ,作者未发现用 2-D 位置 emb 会有显著性能提升。
未完,下一篇继续……