ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)

一、动机

单阶段长尾识别方法以“跷跷板”的方式提高整体性能,即要么牺牲头部的准确度以获得更好的尾部分类,要么将头部的准确度提高得更高,但忽略尾部的性能,因此提出一种解决数据长尾分布的模型。

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第1张图片

之前解决方法:

大多数重新平衡方法通过牺牲大多数类的性能来提高少数类的性能, 包括重新采样和重新加权

数据扩充对头部有效,但对尾部有轻微伤害

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第2张图片

具体步骤:

在共享Backbone之后,多个专家被分支出来,并有单独的可学习块和预测层。Distributed-adaptive optimizer为每个专家分配不同但重叠的类别划分,包括目标类别(TC)和干扰类别(IC)。这些专家会对输入的图像进行判断,最后,通过对每个数据分割中重新缩放的Logit进行平均,汇总专家的预测。

细节:

专家对类的分配:

并不是所有的专家都要参与所有类的判断。

假设有K个专家,有C个类别

对于C,如果i第j个类的的数量

第i个专家需要参与的类集合有Ci,那么,同时保证类有重叠,即CiCj≠∅

对于第i个专家,它的目标类是

它的干扰类是,也就是第个类及前面的所有类,这样保证把少数类作为目标类的专家很多。

根据完全连接层的权重标准,将其进一步调整为z^i,以具有可比性

可以从中看出,第1个专家的目标类是所有的类,它没有干扰类

越往后的专家目标类越少,干扰类越多

当汇集目标类对应专家的结果取平均值,就是输出

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第3张图片

损失函数

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第4张图片

zi可以理解为第i个专家输出的特征向量

损失函数分别应用于每个专家,而不是聚合输出

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第5张图片

除了对指定的目标类别进行分类外,每个专家对他们从未见过的类别的回答不应影响其他专家,即干扰类别(IC)。对于专家本身来说,IC中的类别也是造成混淆的主要原因。通过消除IC的影响,专家们以互补而非竞争的方式工作。因此,需要一个正则化项来抑制IC的输出

学习率:

带有随机梯度下降(SGD)优化器的小批量训练网络的线性缩放规则:当小批量大小乘以k时,学习率乘以k。所有其他超参数(权重衰减、动量等)保持不变。根据这条规则,为了避免过度拟合,优化器应该了解分布情况,为使用较少数据进行训练的Ei分配较小的权重。将基本学习率表示为η0,这是所有类别专家的学习率,第i位专家的训练方式为

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第6张图片

其中,N={n1,n2,…nC}是每个类中的样本数,假定N降序。E1的损失函数会更新E1的主干和参数,i>1的Li只会更新专家本身。原因是由于数据重叠,错误可能重复,这意味着主干可能会由于同一错误而被多次更正。这类似于重新加权方法的想法,这会损害表征学习。因此,只有E1,也就是目标类是所有类的专家更新主干。

消融实验

  1. ACE与其他方法进行对比

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第7张图片

2.专家架构的对比

2.1有无Lcom函数

将非目标组的权重设置为零作为硬约束,而不是学习以软正则化方式使用Lcom抑制它们

2.2有无干扰类

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第8张图片

3.学习率设置的对比

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第9张图片

这三种方案都比基线方案产生更好的结果。促进了大多数类别的更高改善,同时显著减少了尾部。原因是一些专家过早收敛,因此由于过度拟合而导致尾类性能不佳。表现出相似的性能,而在中数类和少数类时表现更好。

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第10张图片

4.输出的决定

:有缩放的取平均

:取最大的概率

:各取一部分,取的是属于自己目标类的一部分

:无缩放的取平均

ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第11张图片ACE: Ally Complementary Experts for Solving Long-Tailed Recognition in One-Shot(2022.5.27)_第12张图片

你可能感兴趣的:((long-tail)论文阅读,机器学习,深度学习,人工智能)