粗读SELF-SUPERVISED LEARNING IS MORE ROBUST TO DATASET IMBALANCE

        本文首先通过两组实验，证明自监督预训练能够更好地应对极端的数据不平衡现象

        ID是in-domain缩写，而OOD是out-of-domain缩写。前者代表预训练数据集和测试集是同一数据集，而后者说明两者并非同一数据集。n是预训练数据量，n旁边的数字代表预训练时数据最多的类和数据最少的类数量之比，1代表数据平衡，数字越小代表不平衡程度越极端。SSL代表自监督，SL代表全监督

        可以看到，在ID情况下，虽然全监督预训练方法表现更好，但一旦预训练的数据变得不平衡，性能就会立马下降。而SSL面对三种情况的数据，性能差距都不大。而到了OOD情况，即类似于迁移学习的情况，SSL无论是准确率指标还是面对极端情况下的指标下降情况都优于SL。

        作者又设计了个实验，实验输入是一维向量，预设了向量e1和e2，两者互相垂直。生成的类别1是a*e1+b*e2+cζ，类别2是-a*e1+b*e2+cζ，而类别3是-b*e2+cζ，abc都是生成某一个具体的成员时随机生成的数，ζ是随机扰动，本质是一个长度与e1e2长度相等的随机向量，abc和ζ的的生成都遵循高斯分布。

        类别1和2都是丰富类，数量多，而类别3数量较少。

        在通过一个3分类器用不同方法预训练后，SL方法训练出的分类器重点只关注e1，只希望将数量多的类1和类2尽可能分开。而SSL方法能同时学习到e1和e2的特征，其中e2特征是可以迁移到针对类别3的分类的，因此能够在区分类别12的同时将类别3也区分出来。

        作者最后设计了一个刁钻的实验，每一张图片都由左右两部分组成，其中丰富类左侧决定图像所属的类，右侧为随即找来的图像，稀有类则相反，右侧才决定了图像属于什么类，而左侧是全黑色。

        经过训练，输出Grad-CAM图像后，可以看出，监督方法能够学会丰富类的特点，将大部分注意力放在左侧，但面对稀有类时直接蒙蔽，毫无重点。而自监督方法训练出的模型会同时关注两侧信息，正确地注意含有有用信息的区域，并更好地做出预测。

        总之，作者通过一个大的实验证明自监督从数值上收到数据不平衡的影响较小，又通过两个实验，论证自监督方法能够让网络学习到全局的，可迁移的特征，提高了面对数据不平衡的性能。