EVA: Visual Representation Fantasies from BAAI

本文做个简单总结,博主不是做自监督领域的,如果错误,欢迎指正。

链接

Code:

        Official:baaivision/EVA

        MMpretrain:open-mmlab/mmpretrain/tree/main/configs/eva02

Paper:

        EVA01:EVA: Exploring the Limits of Masked Visual Representation Learning at Scale

        EVA02:EVA-02: A Visual Representation for Neon Genesis

EVA01

成就:

EVA 是第一个开源的十亿级视觉基础模型,在广泛的下游任务上实现了最先进的性能。

改进: 

    EVA: Visual Representation Fantasies from BAAI_第1张图片

  1. EVA是基于CLIP的预训练,而不是MIM预训练。

    1. MIM(Masked Image Modeling)预训练,即MAE做的事情,随机mask掉图片中一部分,生成原图。

      1. 缺点:MIM预训练只包含底层细节信息,没有高层语义信息。

    2. CLIP预训练,用“图像-文本”进行对比学习训练,

      1. 使用场景:根据文本搜索相关图片,根据图片生成相关描述。

      2. 优点:文本补充了MIM缺乏的高层语义信息,CLIP预训练细节和语义信息都有。CLIP预训练中的高层语义信息能够给下游任务提供更大的帮助。

  2. EVA 不需要昂贵的监督训练阶段,仅利用来自开源数据集的图像就可以。

  3. EVA 的迁移学习性能强。

  4. EVA 可以充当以视觉为中心的多模态支点

EVA02

成就:

        EVA: Visual Representation Fantasies from BAAI_第2张图片

  1. 使用可公开访问的训练数据,仅具有 304M 参数的 EVA-02 在 ImageNet-1K 验证集上实现了惊人的 90.0 微调 top-1 精度。

  2. EVA-02-CLIP 在 ImageNet-1K 上可以达到高达 80.4 的零样本 top-1,优于之前最大、最好的开源 CLIP,仅需要约 1/6 的参数和约 1/6 的图像文本训练数据。

改进:

        EVA: Visual Representation Fantasies from BAAI_第3张图片

  1. EVA02对原始ViT改进了结构(借鉴NLP上的一些改进Tricks)

  2. EVA V1使用CLIP模型的视觉Encoder作为Teacher,EVA V2使用EVA-CLIP作为Teacher。EVA-CLIP 与之前的 CLIP 模型相比性能更强大,参数数量相同,但训练成本显著降低

  3. EVA V2使用了更多的数据,多个开源公开的数据集合并到一起组成 Merged-38M,累计3800万张图片。

  4. 训练分为多阶段,

    1. 在Merged-38M上进行MIM预训练,

    2. 在ImageNet21K上进行finetuning,

    3. 在ImageNet1K上做最后的finetuning。

    4. EVA V2还支持微调多项下游任务,如目标检测,语义分割、实例分割等。

你可能感兴趣的:(自监督,EVA,分类,检测,分割)