Paper--Detection of False Positive and False Negative Samples in Semantic Segmentation

这篇文章是对“如何检测分割结果中的FP和FN”进行了讨论，主要研究了街景语义分割中的元分类(meta classification)方法

---

Abstract：

近年来，在图像识别方向，深度学习方法已经超越了其他方法。从人类决策者的协助到越来越多的自动化系统的转变，增加了正确处理深度学习模块的故障模式的需求。在这篇文章的贡献中，我们回顾了一系列用于不确定性量化的基于机器学习算法自我监控的技术。特别地，我们将其应用于语义分割任务，其中机器学习算法根据语义类别分解图像。我们在实例级别上讨论了false positive和false negative的错误模式，并回顾了最近提出的检测此类错误的技术，我们还对未来的研究方向进行了展望。
Index Terms： deep learning, semantic segmentation, false positive and false negative detection

一、Introduction

深度学习技术的惊人成就，特别是CNN技术，导致了新应用的技术开发热潮，这在十年前是认为不切实际的。特别是，在汽车工业中，全自动化驾驶系统得到了广泛的应用。尽管业界努力将此类系统从对驾驶员的驾驶辅助提升到更高的级别，在此更高级别的人员可以暂时或完全替代该技术。如何基于深度学习技术设计自动驾驶系统的问题仍然存在许多未解决的问题，特别是在可靠性和安全性方面。当AI驱动的系统辅助医学图像的解释时，存在类似的问题，尽管无意使该过程完全自动化。

我们将重点讨论基于摄像机数据的道路场景语义解释，这是任何自动驾驶策略的重要前提。为了更具体，我们将重点放在语义分割上，而不是目标检测上。在语义分割中，一幅图像被分解成若干个遮罩，每个遮罩统一了在预定义语义空间中依附于特定类别的像素。尽管也存在实例分割网络，但这里我们将掩模的每个连通分量视为一个实例。基于这些实例，不得不考虑以下故障模式：

• 假阳性(FP)
• 假阴性(FN)
• Out of Distribution(OOD)：在语义空间之外的对象，在其上训练了感知算法，但仍出现在输入数据中，因此是错误分类的
• Adversarial Attack(AA)：感知模块通过操纵传感器的输入，在一定程度上被迫犯下FP或FN错误

我们重点介绍前两种“FP”和“FN”故障模式。特别地，我们讨论了分割网络的自我监控方法。这里不考虑由于自动驾驶汽车结构冗余而提高的可靠性。
语义分割中的误报检测主要是在像素级上进行的，用全局指标如帧上的全局精度或类掩码级上的平均交并（IoU）来度量，这里我们将把检测结果传递给分割网络的预测掩码中的连通分量，这在实践中往往更为重要。然后，元分类是机器学习任务，从聚合的不确定性度量中推断预测段是否与ground truth(正确的真值)相交，或者在上述意义上是否为假阳性。虽然这会导致0-1的决策，但单个连接组件上的IoU分数给出了一个渐进的质量度量。元回归则是在缺乏基本事实的情况下，根据相同的不确定性指标预测得分的任务。本文综述了近年来用于街道场景语义分割的元分类方法的研究进展。

我们也把分类不平衡作为FN预测的原因之一，在训练数据中相应的ground truth被低估。在语义分割中，这通常是不可避免的，例如，行人在像素数方面表现不足，即使是在有几个人的图像上。在这里，我们提出的方法来纠正偏差最大的后验（或贝叶斯）决策原则，主要应用于机器学习。作为替代，我们提出了一个决策原则-最大似然（ML）决策规则，寻找最佳的数据拟合到一个给定的语义类。我们回顾了利用ML决策规则进行语义分割的FN检测，并讨论了基于成本的决策规则以及成本结构的设置问题。

本文的结构如下：第二部分讨论通过元分类过程检测假阳性实例，该过程涉及在预测段上聚集的不确定性热图。以下第三部分将此过程扩展到使用时间序列不确定性度量进行元分类的视频流数据。在第四部分中，我们将讨论如何减少假阴性，特别是对于极为重要的稀有类别。在这里，我们使用基于成本的决策规则，并讨论与建立成本结构相关的一些伦理问题。最后，第五部分对未来的研究进行了总结和展望。

二、FP Detection Via Meta Classification