Contrastive learning的学习

Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021

---

---

前言

学习该篇论文讲了什么内容，学习method

---

一、摘要

在完全监督下提出一种新颖的多标记分类框架，该框架在不同标签的上下文中学习图像的多种表示。

二、method

1.input

original input images


Label-Level Embedding Network的input：$x_i$表示一个图片，output：$g(i)\in {\mathbb{R}}^{L\times D}$表示根据$L$个标签，即每一行对应于图像在特定标签的上下文下的嵌入.
该网络运行步骤：
1）采用CNN进行特征提取

2）introduce a set of vectors $U\in {\mathbb{R}}^{L\times C}$,其中每一行都是特定于标签的嵌入。 $U$ 用正态分布随机初始化，是训练期间要学习的参数。
3)提出了第三个组成部分来捕获基于多头注意力的 $r_i$ 和 $U$ 之间的交互,是一个多头注意力机制。

2.contrastive learning

给定 $2N$个实例的minibatch $I=1...2N$ 和一个锚实例 $i\in I$，$i$ 的增强版本，表示为 $i_a\in I$ 被认为是正样本，其他 $2(N-1)$ 个实例 在 minibatch 中被认为是负面的例子。
自监督损失：两个图片的向量点乘，然后softmax。这里没有用到监督
$\tau \in {\mathbb{R}}^{+}$ 是一个标量参数，$A(i)=I\backslash z_i$。
反斜杠"$\backslash$"是一种集合运算符号，集合U和A的相对差集，符号为U \ A，是在集合U中，但不在集合A中的所有元素，相对差集{1，2，3} \ {2，3，4} 为{1} ，而相对差集{2，3，4} \ {1，2，3} 为{4} 。
监督损失：利用标签信息来选择正样本和负样本。

其中 $P(i)$ 是 $z_i$ 的正集，它包含小批量中与 $z_i$ 相同标签的所有其他样本，$|P(i)|$ 是它的基数。

3.Learning MulCon with Contrastive Loss

其中，参数$\gamma$控制两个损失之间的权衡。

通过求得$g(i)$，step1经过一个线性变换，得到损失；step2 通过contrastive learning 得到另一个损失。

三、实验

实验数据
two benchmark datasets： MS-COCO和NUS-WIDE
在MS-COCO数据集上：

---

总结

在目前的多标签学习上可以运用该文中的对比学习来增加标签与对特定特征的关系。拥有同一个标签的样本进行点乘来表示损失。来增强分类效果。