目录论文使用方法weightdecayMaxNorm如果使用原来的代码报错的可以看下面这个论文问题：真实世界中普遍存在长尾识别问题，朴素训练产生的模型在更高准确率方面偏向于普通类，导致稀有的类别准确率偏低。key:解决LTR的关键是平衡各方面，包括数据分布、训练损失和学习中的梯度。文章主要讨论了三种方法：L2normalization,weightdecay,andMaxNorm本文提出了一个两阶

论文标题《DeepLong-TailedLearning:ASurvey》深度长尾学习：调查作者YifanZhang、BingyiKang、BryanHooi、ShuichengYan（IEEEFellow）和JiashiFeng来自新加坡国立大学计算机学院、字节跳动AILab和SEAAILab初读摘要长尾类别不平衡（long-tailedclassimbalance）：深度长尾学习是视觉识别领域

这是复旦大学2023.12.28开放出来的数据集和论文，感觉很宝藏，稍微将阅读过程记录一下。ZhengQ,ZhaoW,WuC,etal.Large-scaleLong-tailedDiseaseDiagnosisonRadiologyImages[J].arXivpreprintarXiv:2312.16151,2023.项目主页：https://qiaoyu-zheng.github.io/RP

MetaSAug:MetaSemanticAugmentationforLong-TailedVisualRecognitionAbstract现实世界的训练数据通常表现为长尾分布，其中几个大多数类的样本数量显著多于其余少数类。这种不平衡降低了为平衡训练集设计的典型监督学习算法的性能。在本文中，我们利用最近提出的隐式语义数据增强(ISDA)算法来增强少数类来解决这个问题，该算法通过沿着多个语义有意

ACE:AllyComplementaryExpertsforSolvingLong-TailedRecognitioninOne-Shot[ICCV2021][ORAL]ACEGithub[多专家][one-stage][无预训练]文章目录ACE:AllyComplementaryExpertsforSolvingLong-TailedRecognitioninOne-ShotMotivatio

一写在前面未经允许，不得转载，谢谢～～最近想看看long-tailedrecognition是如何处理imbalanceddataset的，对查阅到比较有用的资料做了一个整理和记录。二overview2.1基本问题介绍大多数我们用的benchmark都是类别均衡的（每个类别的标注样本数一致），但是事实上自然界中的物体很可能是一个类别均衡的分布，常见类别样本多，稀有类别样本少，更直观的解释可以看下面

BackGround解决类别不平衡问题一般的思路：re-samplethedata重采样designspecificlossfunctionsthatbetterfacilitatelearningwithimbalanceddata设计针对不平衡数据的损失函数enhancerecognitionperformanceofthetailclassesbytransferringknowledgef

ContentsIntroductionPreliminaryStudyPerformanceInvestigationofVPT(VisualPromptTuning)AnalysisofPromptTuningLong-tailedPromptTuning(LPT)Phase1:SharedPromptTuningPhase2:GroupPromptsTuningLossFunctionExp

4实证研究本节对现有的长尾学习方法进行实证分析。首先，我们引入一个新的评估指标。4.1新颖的评估度量长尾学习的关键目标是处理类不平衡以获得更好的模型性能。因此，常见的评估协议[13]，[22]直接使用top-1测试精度(用At表示)来判断长尾方法的执行情况，以及哪种方法更好地处理类不平衡。然而，当处理类别不平衡时，这样的度量不能准确地反映不同方法之间的相对优势，因为除了类别不平衡之外，前1名的准确

DeepLong-TailedLearning:ASurvey深度长尾学习是视觉识别中最具挑战性的问题之一，旨在从大量遵循长尾类分布的图像中训练出表现良好的深度模型。在过去的十年中，深度学习已经成为学习高质量图像表征的强大识别模型，并在通用视觉识别方面取得了显著的突破。然而，长尾类不平衡是实际视觉识别任务中的一个常见问题，它往往限制了基于深度网络的识别模型在实际应用中的实用性，因为它们很容易偏向优

6未来方向在本节中，我们从方法创新和任务创新两个角度确定了深度长尾学习的几个未来研究方向。6.1NewMethodology我们首先讨论创新深度长尾学习方法的几个潜在方向。Classre-balancingwithoutlabelfrequencies无标签频率的类别重新平衡。一些真实世界的长尾任务，例如多标签分类或对象检测，可能遭受除类别不平衡之外的额外问题，即标签共现。具体来说，标签共现表示头

论文链接：https://www.aminer.cn/pub/6164fcc15244ab9dcb24cff5?f=cs近年来，深度学习已经成为人工智能领域中最重要的技术之一。因强大的数据特征表达能力，深度神经网络已经被成功应用到众多视觉识别任务中并取得了显著的突破，如图像分类，物体检测和语义分割等。深度神经网络的成功源于其大量的模型参数对任务模式的学习，而这一过程需要大量的标注数据进行模型训练。

深度长尾学习综述1.项目介绍在过去的十年中，深度学习已经成为学习高质量图像表示的强大识别模型，并在通用视觉识别上取得了显著突破。然而，长尾类别不平衡是实际视觉识别任务中的一个常见问题，它常常限制了基于深度网络的识别模型在实际应用中的实用性，因为它们很容易偏向于多数类，而在尾部类上的性能很差。为了解决这个问题，近年来进行了大量的研究，在深度长尾学习领域取得了可喜的进展。2021年颜水成团队发了一篇关

长尾分布在图像识别中的相关技巧总结背景目前图像识别领域在长尾分布上存在着巨大挑战，类总是展现出数据不平衡，虽然一些复杂的方法和改良方案（eg：调整特征、损失函数）都起到了一定的作用，但是这些方法可能会发生冲突，目前并没有一个具体的实验指导原则，说明这些方法结合的有效性。本文主要内容总结了目前所有在图像识别中的长尾分布主流的技巧方法，并且做了相关的对照试验，对比出每一类中效果最好的，并且提出了一种不

本文揭示了长尾目标检测中的主要问题是正负之间的梯度不平衡，并提出均衡损失(equalizationloss)v2表现SOTA！性能优于BAGS、ForestR-CNN等网络，代码即将开源！注：文末附【目标检测】学习交流群EqualizationLossv2:ANewGradientBalanceApproachforLong-tailedObjectDetection作者单位：同济大学,商汤科技,

论文地址：https://arxiv.org/abs/1912.02413代码地址：https://github.com/megvii-research/BBN文章目录1动机1.1问题1.2Howclassre-balancingstrategieswork1.3解决方法2BBN(Bilateral-BranchNetwork)2.1bilator-branch结构(1)Datasamplers(

一、动机单阶段长尾识别方法以“跷跷板”的方式提高整体性能，即要么牺牲头部的准确度以获得更好的尾部分类，要么将头部的准确度提高得更高，但忽略尾部的性能，因此提出一种解决数据长尾分布的模型。之前解决方法:大多数重新平衡方法通过牺牲大多数类的性能来提高少数类的性能,包括重新采样和重新加权数据扩充对头部有效，但对尾部有轻微伤害具体步骤:在共享Backbone之后，多个专家被分支出来，并有单独的可学习块和预

（一）解决的问题：数据的长尾分布，导致对样本分类时对多数类的偏向，使得训练出有偏分类器。（二）动机：提出了一种新的混合网络，包括监督对比损失学习图像特征和交叉熵损失分类器，以实现长尾图像分类。（三）步骤：先对输入的图像通过Backbone（比如Resnet），得到一些图像的特征分布。上面的结构主要对特征分布进行对比学习，正样本拉近、负样本原理的操作；下面的结构是一个分类器，主要对形成的特征空间进行

相比于直接对图像进行分类，本文更关注特征提取部分，通过令提取的不同类特征在超球面上尽可能远离，让属于同一类的特征尽可能靠近，来提高模型面对样本不平衡时的分类性能。这是本文的方法和效果示意图。第一行的KCL是之前的方法，TSC为本文方法。之前的方法在面对极端的样本不平衡时，训练图像多的类会挤占训练图像少的类，让小样本的类之间的特征混在一起，导致分类准确率下降，而本文方法面对极端不平衡时依然可以保持不

（一）解决的问题：数据往往呈现出长尾分布，类间严重失衡，多数类可能主导训练过程，并改变少数类的决策边界。（二）动机：提出一种平衡采样的方法，同时能够学习到统一的特征空间，使长尾分布的数据在特征空间能够更加均匀的分布。（三）之前的解决方法：尾部类进行过采样对损失函数重新加权；缺点：这些方法过度拟合尾部类并以牺牲头部类为代价提高尾部类的性能，从而损害了学习到的特征的质量。将长尾数据重新组织为组，对每个

Thedatawillbeinevitablylong-tailed.Forexample,ifwetargetatincreasingtheimagesoftailclassinstanceslike“remotecontroller”,wehavetobringinmoreheadinstancelike“sofa”and“TV”simultaneouslyineverynewlyaddedi

论文地址：https://arxiv.org/abs/2104.06094论文源代码地址：暂无文章目录1、动机2、改进2.1CELoss（交叉熵损失）2.2LDAMLoss2.3、ALALoss2.3.1DF因子2.3.2QF因子2.3.3最终表达形式3、优势4、性能对比5、消融实验5.1定量分析5.2定性分析6、参考文献：作者在CE、LDAM的基础进行改进，提出使用DifficultyFacto

Note：还没写完PartialandAsymmetricContrastiveLearningforOut-of-DistributionDetectioninLong-TailedRecognitionCode::https://github.com/amazon-research/摘要现有的分布外(OOD)检测方法通常在具有平衡类分布的训练集上进行基准测试。然而，在实际应用中，训练集通常具有

目录Long-TailedRecognition长尾数据基本方法重采样(datare-sampling)重加权(lossre-weighting)迁移学习(transferlearningfromhead-totail-classes)Long-taileddatasetsLong-tailedCIFARiNaturalist2018Long-TailedImageNetPlaces-LTRefe

文章目录前言本文贡献方法数据表示（representation）联合训练（Joint）时采样策略matters联合训练还是解耦？平衡分类器实验总结论文地址：https://arxiv.org/abs/1910.09217代码：https://github.com/facebookresearch/classifier-balancing发表在ICLR2020前言生活中几乎所有能收集到的数据大多都符

原文地址代码本文来自ICLR20。对长尾识别，通常是joint学习，就是representation和分类一起进行。本文的创新点就在于打破这个固有认识。现有类平衡策略三种维度：损失重采样，数据重采样，学习从头到尾转换（迁移学习）。第一种损失在各类别上不同，各类别的损失权重不同，难样本(hardexample)需要更加重视。第二种数据分布再平衡。头类的欠采样、尾类的过采样和数据实例的重加权。第三种将

DecouplingRepresentationandClassifierforLong-TailedRecognition论文笔记Facebook出品，ICLR2020会议论文，官方代码摘要视觉世界的长尾分布对基于深度学习的分类模型提出了巨大的挑战，即如何处理类不平衡问题。现有的解决方案通常涉及类平衡策略，例如通过损失重新加权、数据重新采样，或将学习从头尾类转移到尾类，但大多数方案都坚持联合学习

DecouplingRepresentationandClassifierforLong-TailedRecognition[ICLR2020]解耦论文GitHub文章目录DecouplingRepresentationandClassifierforLong-TailedRecognition[ICLR2020]two-stage解耦表征学习+分类细节采样策略权重调整分类器调整效果总结two-s

简介论文出自ICLR2020，新加坡国立大学和FacebookAI联合著作。代码：https://github.com/facebookresearch/classifier-balancing.摘要视觉世界的长尾分布对于基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略，例如通过损失加权，数据重新采样或将学习从头到尾的类迁移到其他类别，但其中大多数坚持联

论文地址：http://www.lamda.nju.edu.cn/zhangys/papers/AAAI_tricks.pdf代码地址：https://github.com/zhangyongshun/BagofTricks-LT文章目录1、动机2、Dataset2.1、Long-tailedCIFAR(CIFAR10、CIFAR100)2.2iNaturalist20182.3ImageNet-

原始文档：https://www.yuque.com/lart/papers/drggsoICLR2020的文章.针对长尾分布的分类问题提出了一种简单有效的基于re-sample范式的策略.提出的方法将模型的学习过程拆分成两部分:representationlearning和classification.对于前者,则将完整的模型在原始的数据分布上进行训练,即instance-balanced(na

大纲引言多域学习中的长尾分布域间类别信息可转移性图类别不均衡对可转移性的影响BoDA实验结果总结引言 本文是长尾分布系列论文解析的第三篇，前两篇分别关注了传统分类问题中的长尾分布：长尾分布系列论文解析（一）DecouplingRepresentationandClassifierforLong-TailedRecognition以及回归问题中的长尾分布长尾分布系列论文解析（二）Delvingint

文章目录往期文章链接目录IntroductionRecentDirectionsSamplingStrategiesMethodsofLearningClassifiersClassifierRe-training(cRT)NearestClassMeanclassifier(NCM)τ\tauτ-normalizedclassifier(τ(\tau(τ-normalized)Experimen

文章目录概主要内容Sampling分类器代码KangB.,XieS.,RohrbachM.,YanZ.,GordoA.,FengJ.andKalantidisY.Decouplingrepresentationandclassifierforlong-tailedrecognition.InInternationalConferenceonLearningRepresentations(ICLR)

大纲引言分类问题中的长尾分布采样策略解耦训练实验结果总结引言 看了挺多长尾分布的论文，从中获益匪浅，长尾分布的问题并不仅仅只局限于早期的分类问题之中，而是广泛存在于深度学习的多项任务之中。接下来一系列的文章将会去介绍近年来几篇典型的研究长尾分布的论文，这些论文也来自于不同的领域，足见长尾分布的普遍性。首先给长尾分布下一个不那么严谨的定义，长尾分布指的是数据集中的多数样本只覆盖了一小部分的类别，而其

论文概述：将分类网络分解为representationlearning和classification两部分，然后探究了一下这两个部分对于long-tailed问题的影响。

该文阅读难度相当低，理解起来非常简单，但作者颠覆了已有的long-tailed(LT)识别问题。已有关于LT识别的研究基本聚集在end2end（jointl

数据不平衡的问题在现实世界中无处不在。例如，自动驾驶，医学图像诊断，物种分类，数据本质上是严重不平衡的。如果把不同类别的数据按照出现的频率从高到低进行排序，就会得到一条递减的曲线。在曲线的头部，数据出现的频率很高，随着数据的出现频率逐渐降低，曲线也逐渐下降，缓慢趋近于横轴，看起来就像拖着一条长长的尾巴，如下图所示。例如，在物种分类问题中，将不同类别的物种按照稀有程度从高到低进行排序，那么最常见的物

论文代码近几年，关于long-tailed或imbalancedproblem在各个领域都受到持续关注，cvpr、iccv等会议也一直有关于相关问题的topic。

AI：2020年6月22日北京智源大会演讲分享之09:00-09:50全体大会《AI精度与隐私的博弈》09:00-09:50NextGenerationAI:Distributed,Long-Tailed

Paper:《BBN:Bilateral-BranchNetworkwithCumulativeLearningforLong-TailedVisualRecognition》Authors:BoyanZhou,QuanCui,Xiu-ShenWei,Zhao-MinChenInstitutions:MegviiTechnology;WasedaUniversity;NanjingUniversi

针对长尾分布中的不平衡分类问题，本文首次发现这些重新平衡方法能够实现令人满意的识别精度，这是因为它们可以显着地促进深度网络的分类学习。但是同时它们也在一定程度上破坏了学习到的深度特征的代表能力。因此，本文提出了一个统一的双边分支网络(BBN)来同时处理表示学习和分类器学习，其中每个分支分别各自执行自己的职责特别是，我们的BBN模型进一步配备了一种新的累积学习策略，其目的是首先学习通用模式，然后逐渐

一看题目就知道本文内容较多，但因为放在一起讨论才能互相比较理解异同。本文主要讨论重尾分布，长尾分布，肥尾分布三者的联系，同时顺带讨论了一下Randomwalk中的Lévyflight和Brownianmotion。主要内容参考自Wikipedia和RickWicklin的博文Fat-tailedandlong-taileddistributions。其实我们讨论重尾长尾肥尾，数学上并没有一个明确的