论文阅读：Decoupling Representation and Classifier for Long-Tailed Recognition

论文概述：
将分类网络分解为representation learning 和 classification 两部分，然后探究了一下这两个部分对于long-tailed问题的影响。根据实验结果可以发现：

• 数据不平衡问题不会影响高质量的representation的学习，因为Instance-balanced sampling（random sampling）策略往往会学到泛化性更好的representations
• 使用简单的Instance-balanced sampling来学习representation，然后只去调整分类器的学习，效果也很好

具体来说首先使用了不同的采样策略，包括实例采样、类平衡采样和混合采样来训练representation。然后，研究了三种不同的方法来获得有balanced决策边界的classifier。分别是：

• 使用class-balanced sampling（类平衡采样）来re-training线性分类器的参数
• 对学到的representations使用KNN进行分类
• 通过normalize classifier的weight来使得weight的尺度变得更加balanced，并添加了一个temperature参数来调节normalization的过程。

采样策略：
论文中提出了一个统一的公式来进行说明，即从类别j中挑选一个样本的概率p如下，nj代表的是类别j的样本数量，C是类别的数量。q的值决定了是哪种的采样策略，

若q=1就为Instance-balanced sampling（实例平衡采样），当q=0的时候，为class-balanced sampling（类平衡采样），q=1/2当 的时候，为平方根采样。

分类器的学习策略：
论文中提到了四种方式：

• Classifier Re-training (cRT)
  固定住representations部分，随机初始化classifier的weight和bias参数，并使用class-balanced sampling在训练少量epoch
• Nearest Class Mean classifier (NCM).
  首先将training set里的每个类别计算feature representations的均值，然后在test set上执行最近邻查找。或者将mean features进行L2-Normalization之后，使用余弦距离或者欧氏距离计算相似度。论文中提到余弦相似度可以通过其本身的normalization特性来缓解weight imbalance的问题
• -normalized classifier