论文阅读《Deep Long-Tailed Learning: A Survey》综述（三）

6 未来方向

在本节中，我们从方法创新和任务创新两个角度确定了深度长尾学习的几个未来研究方向。

6.1 New Methodology

我们首先讨论创新深度长尾学习方法的几个潜在方向。

Class re-balancing without label frequencies无标签频率的类别重新平衡。一些真实世界的长尾任务，例如多标签分类或对象检测，可能遭受除类别不平衡之外的额外问题，即标签共现。具体来说，标签共现表示头类标签与尾类标签频繁出现的情况，这可能会在模型训练时偏向不平衡程度，从而难以获得准确的标签频率。考虑到这个问题，现有的基于标签频率的类再平衡方法往往会失败。如何在长尾学习中处理这个问题是一个悬而未决的问题。

无标记数据的迁移学习。长尾学习的一个关键挑战是缺乏足够的尾类样本。从其他未标记样本中转移知识是一种可行的解决方案，例如，自我监督学习、知识提炼和自我训练。然而，现有的迁移方法可能不能很好地处理长尾学习。例如，CReST [97]发现监督训练的模型在长尾图像分类中通常对尾类具有高精度，因此提出选择更多尾类数据用于伪标记和模型训练。然而，这样的发现在长尾对象检测或多标签分类中可能不成立。因此，如何更好地利用未标记数据进行长尾学习值得进一步探索。

Data augmentation for multiple tasks 多任务数据扩充。现有的长尾方法通常是为特定的任务设计的，例如图像分类或图像检测。然而，由于各种任务之间的差异，用于特定任务的现有方法可能无法处理其他任务，导致方法通用性差。考虑到数据增强是所有视觉任务的基础，设计能够同时解决多个长尾任务的更好的基于增强的长尾方法是有价值的。

Ensemble learning for improving all classes 改进所有类的集成学习。大多数现有的长尾方法以牺牲头类性能为代价来提高尾类性能。一种解决方案是集成学习，它利用各种专家的不同专业知识来获得头尾类之间的更好权衡，从而在长尾学习上实现最先进的性能[30]。由于所有类的潜在性能改进，集成学习将是未来研究的一个有前途的方向。

6.2新任务设置

除了方法创新，还有几个长尾学习的新任务设置等着解决。

Test-agnostic long-tailed learning. 与测试无关的长尾学习。现有的长尾学习方法通常假设一个平衡的测试类分布。然而，实际的测试分布经常违反这种假设(例如，长尾或甚至反向长尾)，这可能导致现有方法在现实世界应用中失败。为了克服这一限制，LADE [31]放宽了这一假设，假设测试类分布可以任意偏斜，但测试分布的先验是可用的。后来，TADE [30]进一步创新的任务，其中测试类分布不仅是任意偏斜的，而且是未知的。除了类别不平衡之外，该任务还提出了另一个挑战，即训练样本和测试样本之间未识别的类别分布变化。
Open-set long-tailed learning. 开集长尾学习。真实世界的样本通常具有长尾和开放的类分布。受此启发，开集长尾学习[15]，[81]试图从长尾数据中学习，并在包括头尾和开放类的平衡测试集上优化分类准确性。挑战主要有两个:(1)如何在头尾类之间共享视觉知识；(2)如何减少尾部和开放类的混淆。
Federated long-tailed learning. 联合长尾学习。现有的长尾学习研究通常假设所有的训练样本在模型训练期间都是可访问的。然而，在现实应用中，长尾训练数据可能分布在众多移动设备或物联网上[167]，这需要对深度模型进行分散训练。这样的任务设置被称为联邦长尾学习，主要有两个挑战:(1)长尾类不平衡；(2)不同客户端的本地数据之间的未知类别分布偏移。

Class-incremental long-tailed learning 类增量长尾学习。在现实世界的应用中，长尾数据可能以连续和类增量的方式出现[82]，[168]。为了处理这种情况，类增量长尾学习旨在从类增量长尾数据中学习深度模型，面临两个关键挑战:(1)当不同的类顺序出现时，如何处理长尾类不平衡，并且模型没有关于类以及标签频率的未来输入的信息；(2)学习新class时如何克服对以前课知识的灾难性遗忘。这样的任务设置也可以命名为持续长尾学习。

Multi-domain long-tailed learning. 多领域长尾学习。当前的长尾方法一般假设所有的长尾样本来自同一个数据边际分布。然而，在实践中，长尾数据也可能来自具有不同数据分布的不同域[28]，[169]，例如域网络数据集[170]。受此推动，多领域长尾学习寻求同时处理类别不平衡和领域分布转移。一个更具挑战性的问题可能是不同领域之间的阶级不平衡的不一致性。换句话说，各个领域可能有不同的类别分布，这进一步放大了多领域长尾学习中的领域转移。

Robust long-tailed learning 健壮的长尾学习。真实世界的长尾样本也可能遭受图像噪声[95]、[171]或标签噪声[140]、[145]。然而，大多数长尾方法假设所有图像和标签都是干净的，导致实际应用中模型鲁棒性差。这个问题对于尾部类尤其严重，因为它们的训练样本非常有限。受此启发，鲁棒长尾学习寻求同时处理类不平衡和提高模型鲁棒性。

Long-tailed regression 长尾回归。大多数现有的长尾视觉学习研究集中在分类、检测和分割上，这些研究具有带类别索引的离散标签。然而，许多任务涉及连续标签，其中不存在类之间的硬分类边界。受此激励，长尾回归[172]旨在处理具有连续标签空间的长尾学习。在这样的任务中，如何同时解决长期的类别不平衡和处理某些标签的潜在缺失数据仍然是一个未决的问题。

长尾视频学习。现有的深度长尾学习研究大多集中在图像层面，但忽略了视频领域也存在长尾类不平衡的问题。考虑到视频数据中额外的时间维度，长尾视频学习应该比长尾图像学习更困难。由于最近发布的VideoLT数据集[38]，长尾视频学习可以在不久的将来进行探索。

7结论

在本次调查中，我们广泛回顾了2021年年中之前提出的经典深度长尾学习方法，按照类别重新平衡、信息增强和模块改进的分类法。我们根据最新提出的相对准确度指标，通过评估几种最先进的长尾方法在多大程度上解决了类别不平衡的问题，对这些方法进行了实证分析。接下来，我们讨论了长尾学习的主要应用场景，并确定了方法和任务设置的潜在创新方向。我们希望这份及时的调查不仅能让研究人员和社区更好地理解长尾学习，还能促进未来的研究。