论文讲解-Tripartite: Tackle Noisy Labels by a More Precise Partition

论文基本信息

• 题目：Tripartite: Tackle Noisy Labels by a More Precise Partition
• 地址：https://arxiv.org/pdf/2202.09579.pdf
• 领域：知识蒸馏

1. abstract & motivation

数据质量对于模型精度至关重要，数据集中一般混有部分噪声数据或者误标注的数据，误标注的数据会导致模型学偏，因此最好的办法就是在训练集中去除这种数据。

相比于正常的数据，噪声数据或者难样本计算的loss一般要更大一些，因此可以将其作为判断样本类型的依据。

为了避免噪声数据对于模型训练的损害，同时最大化数据的价值，这篇论文在使用的时候，本文在训练的时候，给hard-data赋予很低的loss权重，同时使用自监督的方法去血吸噪声数据的信息。实验证明，文本提出的方法可以更准确地过滤掉噪声数据，同时在5个benchmark上也超过了现有SOTA。

2. introduction

现有处理noisy label的方法主要有2种。

（1）small loss criterion：该方法假设noisy label的loss很大，因此可以设置阈值T，当 l o