Out of Distribution(OoD)检测相关方法综述

1. Softmax-based 方法

这类方法利用预训练模型输出的最大 softmax 概率进行统计分析，统计发现 OOD 样本和 ID 样本 softmax 概率的分布情况，试图将二者的分布差距加大，然后选取合适的阈值来判断一个样本属于 OOD 还是 ID。这类方法简单且有效，不用修改分类模型的结构，也不需要训练一个 OOD 样本分类器。

SMOOD提出分类正确的样本会得到更大的maximum softmax概率， 通过预测样本的softmax概率可以有效的检测出 OOD 样本。

ODIN提出使用temperature Scaling增加ID和OOD样本的差异， 从而提升模型对OOD样本的检测能力。

2. Uncertainty方法

由于模型的概率输出并不能直接表示模型的置信度(confidence)。因此这类方法让模型学习一个对输入样本的不确定性属性。面对测试数据，如果模型输入为 ID 样本，则不确定性低，相反，如果模型输入为 OOD 样本，则不确定性高。这类方法需要修改模型的网络结构来学习不确定性属性。

Learning Confidence for OOD Detection在原有的分类外再添加一个置信度分支来预测一个置信度c，使用置信度c来调整 softmax 预测概率，且根据置信度c来衡量输入的数据是否为ID样本。

Multiple Semantic Label Representations使用多个单词嵌入作为模型的监督，取代了传统的训练过程中的监督。分类器由几个回归函数组成，每个回归函数都经过训练以预测目标标签的单词嵌入。在推理时，根据回归函数的输出做出决策，从而获得预测的鲁棒性，使用输出的L2范数作为检测分布外实例的分数。

3. Generative model方法

这类方法主要利用 Variational Autoencoder 的 reconstruction error 或者其他度量方式来判断一个样本是否属于 ID 或 OOD 样本。主要的假设是，Autoencoder 的隐含空间(latent space) 能够学习出 ID 数据的明显特征(silent vector)，而对于 OOD 样本则不行，因此OOD样本会产生较高的 reconstruction error。这类方法只关注 OOD 检测性能，不关注 ID 数据本来的任务。

Improving reconstruction autoencoder out-of-distribution detection with mahalanobis distance基于 VAE 重构，增加隐含空间的维度以此来捕获原有数据的更多的变化，使用马氏距离来衡量一个样本x与 ID 训练数据在流形空间的距离，最后使用Reconstruction error和马氏距离一起来检测 OOD 样本。

Out-of-distribution Detection in Classifiers via Generation 通过生成一些样本，让这些样本包围整个 ID 数据的流形，然后训练一个分类器来区分这些样本和 ID 样本，这样能学出一个分界线尽量包裹 ID 数据流形，通过这个分解线来检测 OOD 样本。

4. Classifier方法

这类方法比较直接，使用分类器对提取的特征进行分类来判断是否为OOD样本。这类方法简单直接，也取得了不错的效果，有的方法修改网络结构为一个 [公式] 类分类器， [公式] 为原本分类任务的类别数，第 [公式] 类则是 OOD 类；有的方法直接取提取特征来进行分类，不需要修改网络的结构。

OOD discernment layer通过对不同特征层输出特征的分类结果进行比较，发现特定的容易区分的层输出的特征能够非常容易的区分。基于此，作者提取不同层的输入输出数据，使用一个一类的SVM分类器，并统计该层的分类错误率，然后选择错误最小的层来检测 OOD 样本。

5. 自监督学习方法

和传统OOD检测不同，自监督OOD检测的研究目标是在不使用标签的情况下，通过自监督学习达到判别OOD样本的效果。

CSI（代码）提出了一对比移位实例（contrasting shifted instances，CSI）的方法，它的灵感来自视觉表征对比学习的成功。除了将给定样本与传统对比学习方法中的其他实例进行对比外，CSI的训练方案还将样本与自身的分布移位增强进行对比。

SSD （代码）全称Self-Supervisied Detection，是一种仅基于未标记分布数据的离群点检测器。顾名思义，SSD使用自监督学习中的表示学习，并且在特征空间中进行基于马氏距离的检测。

参考文献：
基于深度模型的Out of Distribution(OOD)检测相关方法介绍