CLIP-Adapter: Better Vision-Language Models with Feature Adapters

对比语言图像预训练(CLIP)

虽然prompt-tuning用于textual inputs,但是建议CLIP Adapter在视觉或语言分支上使用功能适配器进行fine-tune

CLIPAdapter采用了一个额外的瓶颈层来学习新的特征并将剩余的特征与原始的预训练特征进行混合。

为了更好地适应vision语言模型,使用功能适配器,而不是快速调整

1. Classifier Weight Generation for Few-Shot Learning

Co0P方法

a classifier weight matrix W(D,K),D维度,K类别分类,得到K-维度 logit

hard-prompt,pre-defined hard prompt template H.

soft-prompt,random-initialized learnable soft tokens


2. CLIP Adapter

只在CLIP的语言图像分支上附加少量可学习的瓶颈线性层,在few-shot , fine-tuning期间,保持原始clip主干冻结。

然而,使用附加层进行简单的微调在few-shot中仍然可能会陷入过度拟合。为了解决过拟合问题,提高CLIP-Adapter的鲁棒性,进一步采用残差连接,将微调后的知识与CLIP主干中的原始知识动态融合

image feature f , classifier weight W

你可能感兴趣的:(CLIP-Adapter: Better Vision-Language Models with Feature Adapters)