[CVPR 2022] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework

Introduction

• 目前的对比学习框架大多聚焦于单标签监督学习或自监督学习场景，因此作者针对层次多标签场景设计了新的对比学习框架，它可以充分利用 all available labels 并保持类别间的 hierarchical relationship

Method

• 和 supervised contrastive learning 类似，作者的目标是使用所有 hierarchical labels 去学得 encoder 和 projection head. 在用到下游任务时，只需冻结 encoder 参数作为 backbone 即可

---

• Contrastive Learning：最原始的对比学习是一种自监督方法，目标是让 anchor 和它的 augmented version 在 embedding space 中尽量接近，而 anchors 和 negative samples 之间尽量远离。设 $\{x_k,y_k\}$ 为 $N$ 个随机采样的样本，在每个样本上做两次数据增强可以得到大小为 $2N$ 的新样本集，对比损失为
  其中， $i\in A=\{1,...,2N\}$，$j\ne i$ 为样本 $i$ 的正样本。Supervised contrastive learning 将对比学习扩展到了监督学习场景下，由于有了标签的存在，anchor 可以有多个正样本，对比损失为
  其中，$P(i)$ 为样本 $i$ 所有正样本的集合
• Hierarchical Multi-label Contrastive Loss: Supervised contrastive learning 只适用于单标签场景，在层次多标签场景下，设 $l\in L$ 为标签层次结构中的一层，则 anchor $i$ 和 level $l$ 上的正样本配对的对数似然为 (Positive pairs at a level $l\in L$ are formed by identifying a pair of images that have common ancestry up to level $l$ and diverge thereafter.)
  因此，hierarchical multi-label contrastive loss (HiMulCon) 可以被定义为
  其中，${\lambda }_l=F(l)$，$F$ 为 $l$ 的增函数 (如果标签层次只有一层，HiMulCon loss 就退化成了 supervised contrastive loss)
  该对比损失可以让 anchor 和更高层级上的正样本更接近 (即保持层次结构)，并且当计算更高层级的对比损失时，较低层级上的正样本在较高层级上就变成了负样本，它们自动构成了 hard negative samples，可以被看作是一种 hard negative mining
  
• Hierarchical Constraint Enforcing Loss (HiConE)：在层次多标签的对比学习场景下，我们希望高层级 image pairs 的损失低于低层级 image pairs 的损失。为此，可以先定义 $l$ 层上的最大配对似然 $L_{max}^{pair}(l)$
  HiConE loss 为
  疑问：这个公式感觉有点问题，按照作者的想法，当 $L^{pair}(i,p_l^i)<L_{max}^{pair}(l-1)$ 时 (满足层次约束，应该优化细粒度层级上的似然 $L^{pair}(i,p_l^i)$ 使之增大)，这个损失函数却始终在优化 $L_{max}^{pair}(l-1)$。个人感觉正确的公式应该是 $\min (L^{pair}(i,p_l^i),L_{min}^{pair}(l+1))$，这样当 $L^{pair}(i,p_l^i)<L_{min}^{pair}(l+1))$ 时，HiConE loss 会使得 $L^{pair}(i,p_l^i)$ 增加，而当 $L^{pair}(i,p_l^i)>L_{min}^{pair}(l+1))$ 时 (违反了层次约束)，HiConE loss 就会使得 $L_{min}^{pair}(l+1))$ 增加。并且这样修改后也与作者在文中所说的从高层到低层逐层计算损失的说法一致 (具体作者到底是怎么做的还需要看代码核对)
• Hierarchical Multi-label Constraint Enforcing Contrastive Loss：结合上述两种 loss 可以得到最终的损失函数
  其中，$levelPairing$ 为 $N\times N$ 的 pairing mask，当样本 $i,j$ 在 $l$ 层标签相同时，就有 $levelPairing[i,j]==1$
• Hierarchical Batch Sampling Strategy：在层次多标签的设定下，为了提高对比学习性能，有必要使得 batch 中的每个 anchor 在各个标签层次上都有正样本。为此作者采用了如下策略：randomly sample an anchor image and get the label hierarchy. For each label in the multi-label, randomly sample an image in the sub-tree such that the anchor image and the sampled image have common ancestry up to that label. Steps are taken to ensure that each image is sampled only once in an epoch

---

Experiments

• Classification Accuracy (SupCon 为 supervised contrastive loss)
  
• Image Retrieval Accuracy: retrieve images from the gallery that are the same class as the query image
  
• Generalizability to Unseen Data
  • Classification: We finetuned the pretrained model on the seen dataset. To obtain results in the unseen dataset, we only train the classifier on the embeddings generated from the encoder network that was trained on the seen dataset
    
  • Image Retrieval
    
  • Clustering
    

References

• paper: Zhang, Shu, et al. “Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.
• code: https://github.com/salesforce/hierarchicalContrastiveLearning