CLIP Surgery论文阅读

CLIP Surgery for Better Explainability with Enhancement in Open-Vocabulary Tasks（CVPR2023）

M = norm ⁡ ( resize ⁡ ( reshape ⁡ ( F i ˉ ∥ F i ‾ ∥ 2 ⋅ ( F t ∥ F t ‾ ∥ 2 ) ⊤ ) ) ) M=\operatorname{norm}\left(\operatorname{resize}\left(\operatorname{reshape}\left(\frac{\boldsymbol{F}_{\bar{i}}}{\left\|\boldsymbol{F}_{\underline{i}}\right\|_{2}} \cdot\left(\frac{\boldsymbol{F}_{t}}{\left\|\boldsymbol{F}_{\underline{t}}\right\|_{2}}\right)^{\top}\right)\right)\right) M=norm ​resize ​reshape ​ ​Fi​​ ​2​Fiˉ​​⋅( ​Ft​​ ​2​Ft​​)⊤ ​ ​ ​
重点是CLIP的图可视化，上面是CLIP Surgery可视化Similarity map的公式

贡献：

1.发现CLIP可视化结果（相似度图）和人的感知是反的，集中在背景（flatten transformer做q可视化，集中在前景
），认为是QK self-attention导致，最相似的token并不是本身或者相同语义区域，而是一些背景的噪声。而用vv attention就不会出现错误的关联。出现这种情况的原因主要是训练的pooling不合适,提出了CLIP Architecture Surgery，如模型图所示

$$\begin{array}{l}{\hat{x}}_{i+1}=\{\begin{array}{ll}\text{ None }& i<d\\ f_{\text{attn }}\left(x_i,\left\{{\varphi }_v\right\}\right)+x_i& i=d,\\ f_{\text{attn }{n}_v}\left(x_i,\left\{{\varphi }_v\right\}\right)+{\hat{x}}_i& i>d\end{array},\forall T\&A\\ x_{i+1}=\{\begin{array}{ll}{f}_{FFN}\left(x_i^{\prime }\right)+x_i^{\prime },\text{ s.t. }& \\ x_i^{\prime }=f_{att{n}_{qk}}\left(x_i,\left\{{\varphi }_q,{\varphi }_k,{\varphi }_v\right\}\right)+x_i& ,\forall T\&A\\ f_{\text{res }}\left(x_i\right)+x_i& ,\forall Res\end{array}\end{array}$$

2.发现CLIP可视化有非常多的噪声响应

算取一个冗余特征，多类的情况显著的类会影响其他的类（带偏了）。所以我们用类之间的分数作为权重，对每个特征做类别的加权，来抑制显著类的影响。然后在类别维度（Nt，text token的数量）求均值作为冗余特征，并对每个特征减去冗余特征，然后求和得到余弦相似度。对于单个类来说，如交互式分割和多模态可视化，则用空文本特征作为冗余特征（知乎上看到这句话才明白，看的一脸懵逼）。category dimension 是(Nt)

具体如下：

• 先算出multiplied features[Ni，Nt，C]：$F_m=\frac{{\hat{F}}_i}{\Vert {\hat{F}}_i{\Vert }_2}\odot \frac{{\hat{F}}_t}{\Vert {\hat{F}}_t{\Vert }_2}$

沿C方向做逐元素乘法

• 再算similarity score[1，Nt]：$s=softmax(\frac{F_c}{\Vert F_c{\Vert }_2}\cdot (\frac{F_t}{\Vert F_t{\Vert }_2}{)}^{\top }\cdot \tau )$

[CLS]乘token[Nt，C]算相似度

• 再算category weight[1，Nt]：$w=\frac{s}{mean(s)}$
• 再算冗余特征common and redundant features[Ni，1，C]：$F_r=mean(F_m\odot expand(w))$

沿C方向做，空文本相似度最大的？

• 最后算common and redundant features[Ni，Nt]：$S=sum(F_m-expand(F_r))$（去掉冗余特征）

模型

不参与训练，只在推理

实验

错误的self-attention也能解释为什么有人删掉CLIP中ResNet的最后一个self-attention可以做可视化。但是ViT每层都是self-attention，所以现有的方法在ViT上表现很差(全是self-attention删最后一层没用)

开放多标签分类
除此之外我们的算法做open-vocabulary的多标签分类也有效果，可以作为一种后处理任意插到算法里面来提高mAP。原理是抑制冗余特征后会让误报少一些。注意，单类没有效果，因为冗余特征是一个common bias，不改变单张图别之间的位次，而是影响跨图之间的排位来减少误报

多模态可解释性
做了多模态的可解释性，解释CLIP训练过程中文本和图片是怎么匹配的，也发现了一些有趣的现象。比如CLIP训练数据一般关注部分物体，如第一张图片只关注了自行车。而且CLIP对文本也有一定的感知，如最后一张。对于文本的解释，一些不重要的词如 ‘in’ ‘the’ ‘.’ 也经常也有高响应，而且结束符[end]是最高频的。这说明clip会把全局特征编码到固定的token中。

ref

https://www.zhihu.com/question/595372017