论文讲解-Tripartite: Tackle Noisy Labels by a More Precise Partition

论文基本信息

  • 题目:Tripartite: Tackle Noisy Labels by a More Precise Partition
  • 地址:https://arxiv.org/pdf/2202.09579.pdf
  • 领域:知识蒸馏

1. abstract & motivation

数据质量对于模型精度至关重要,数据集中一般混有部分噪声数据或者误标注的数据,误标注的数据会导致模型学偏,因此最好的办法就是在训练集中去除这种数据。

相比于正常的数据,噪声数据或者难样本计算的loss一般要更大一些,因此可以将其作为判断样本类型的依据。

为了避免噪声数据对于模型训练的损害,同时最大化数据的价值,这篇论文在使用的时候,本文在训练的时候,给hard-data赋予很低的loss权重,同时使用自监督的方法去血吸噪声数据的信息。实验证明,文本提出的方法可以更准确地过滤掉噪声数据,同时在5个benchmark上也超过了现有SOTA。

2. introduction

现有处理noisy label的方法主要有2种。

(1)small loss criterion:该方法假设noisy label的loss很大,因此可以设置阈值T,当 l o

你可能感兴趣的:(知识蒸馏,深度学习,计算机视觉,深度学习,人工智能)