NLNL: Negative Learning for Noisy Labels (ICCV2019)

0.文章出处

$NLNL:NegativeLearningforNoisyLabels$
第一作者：$YoungdongKim$
作者单位：韩国科学技术院电气工程学院
收录会议：$InternationalConferenceonComputerVision(ICCV)$
专栏索引 | 原文链接

1.解决的主要问题

• 提出了一种CNN的学习方法，该方法可以提高CNN在具有标签噪声的数据集上的准确率。
• 该方法可以很好地滤出数据集中的标签噪声。

2.主要方法

$PL(PositiveLearning)$即传统CNN学习方法是一种典型的监督学习方法，用于训练“输入图像属于这个标签”的。然而，当CNN使用图像和不匹配的标签进行训练时(标签噪声)，错误的信息被提供给CNN。为了克服这个问题，作者提出了负学习$(NegativeLearning,NL)$，这是一种间接学习方法，用于训练“输入图像不属于这个互补标签”的CNN。$NL$不会像$PL$那样频繁地提供错误的信息。例如，当使用$PL$用有噪声的CIFAR10训练CNN时，如果CNN收到一张狗的图像和“car”的标签，CNN会被训练承认这张图像是一辆车。在这种情况下，CNN是用错误的信息训练的。但是，在$NL$中，CNN将随机提供除“car”以外的补充标签，例如“bird”。训练CNN承认这张图片不是一只鸟在某种程度上是为CNN提供正确信息的行为，因为狗显然不是一只鸟。这样，噪声数据可以帮助训练CNN，它提供了“正确”的信息。

对于输入CNN的数据$x$和它对应的标签$y$，生成一个互补标签：$$\bar{y}\in \mathcal{Y}=\{1,\dots ,c\}$$生成算法为：
即随机选择除$y$以外的任意标签。

传统CNN模型的交叉熵损失计算方法为：
$$\begin{array}{c}\mathcal{L}(f,y)=-\sum _{k=1}^c{\mathbf{y}}_k\log {\mathbf{p}}_k\end{array}$$其中${\mathbf{y}}_k$为对应标签的one hot形式。

作者将这种传统的loss训练的形式称为$PL(PositiveLearning)$即正向训练。式$(1)$将给定标签对应的概率值(softmax输出)优化为1，满足$PL$的目的。

作者提出一种新的loss计算方式，即：
$$\begin{array}{c}\mathcal{L}(f,\bar{y})=-\sum _{k=1}^c{\overline{\mathbf{y}}}_k\log \left(1-{\mathbf{p}}_k\right)\end{array}$$即对互补标签计算loss

作者将这种方法称为$NL(NegativeLearning)$即负向学习。式$(2)$将互补标签的概率值优化为零，从而使其他类的概率值增加，达到了$NL$的目的。

利用上述两种方法($PL$和$NL$)分别训练一个模型，用该模型评价训练数据，数据的分布如下：
$(a)$为$PL$，$(b)$为$NL$，橙色代表噪声数据，蓝色代表干净数据，横轴代表置信度，纵轴代表数据量。

$NL$很好地将噪声数据划归为低置信度区域。

然后作者引入$SelNL$来进一步改善$NL$:
使用$NL$训练后，$SelNL$只在数据$confidence$(置信度)超过$\frac{1}{c}$的情况下训练CNN，其中$c$为类别数，该方法的loss使用式$(2)$。

然后又引入$SelPL$来进一步改善模型：
使用$SelNL$后，$SelPL$只使用对置信心度超过$\gamma$的数据训练CNN，假设这些数据是干净的数据。文章$\gamma$设为0.5，该方法的loss使用式$(1)$。

整个训练流程称为：$SelNLPL$
训练算法流程图为：

该训练方法能够有效提高在具有标签噪声数据集上的准确率：

每个步骤的数据分布：
上图也指出可以“滤出噪声数据”这一功能了。

$$TheEnd.$$