每天一篇论文302/365 A General and Adaptive Robust Loss Function

A General and Adaptive Robust Loss Function

摘要

给出了Cauchy/Lorentzian，Geman-mccluer，Welsch/Leclerc，广义Charbonnier，Charbonnier/pseudo-Huber/L1-L2和L2损失函数的一个推广。通过引入鲁棒性作为一个连续参数，我们的损失函数允许基于鲁棒损失最小化的算法被推广，从而提高了诸如注册和聚类等基本视觉任务的性能。将我们的损失解释为一元密度的负对数，得到一个一般的概率分布，其中包括正态分布和柯西分布作为特例。这种概率解释使得神经网络的训练在训练过程中损失的稳健性自动适应，从而提高了性能基于学习的任务，如生成图像合成和无监督单目深度估计，无需任何手动参数调整。

方法

本文提出了一个单损失函数，它是许多常见鲁棒损失函数的超集。在我们的一般损失函数中，一个连续值参数可以被设置为等于几个传统损失，并且可以被调整以对更广泛的函数族建模。这使得我们可以用一个新的“鲁棒性”超参数来概括围绕固定鲁棒性损失构建的算法，该超参数可以被调整或退火以提高性能。
尽管新的超参数对实践者来说可能很有价值，但它们需要手动调整或耗时的交叉验证，从而使实验复杂化。然而，通过将我们的一般损失函数看作概率分布的负对数似然，并将该分布的稳健性看作一个潜在变量，我们表明，最大化该分布的可能性允许基于梯度的优化框架自动确定损失的鲁棒性，而不需要任何手动参数调整。这种损失的“自适应”形式在具有多变量输出空间（例如，图像生成或深度估计）的模型中特别有效，因为我们可以为输出中的每个维度引入独立的稳健性变量，从而允许模型独立地适应其损失在每个维度的稳健性。

不同的a对loss的影响

a=1 为L1 Loss a=2 为L2 loss

Loss Function定义

本文提出的核心思想就是让a变化