Anomaly Detection 异常检测之 Self-Supervised Outlier Detection 论文解读

1. 异常检测背景介绍

符号说明
$X$：输入空间
$Y$：标签空间
$P_{X\times Y}^{in}$：分布内（in-distribution，ID） 数据（没有数据标签时：$P_X^{in}$）
$P_X^{ood}$：分布外（out-of-distribution，OoD） 数据
$f$：特征提取器$X\to Z$、 其中$Z\subset R^d$（有监督学习中：$g◦f:X\to R^c$）

问题表述
分布外（OoD）检测的目标为：给定从$P_X^{in}\times P_X^{ood}$采集的样本，目标是正确识别每个样本的源分布，即$P_X^{in}$或$P_X^{ood}$。

2. SSD

$SSD$：常规的无监督学习，只包含$P_X^{in}$
$SS{D}_k$：包含k个OoD样本+无监督学习
$SS{D}_{+}$：有监督学习，数据来源为$P_{X\times Y}^{in}$

2.1 训练阶段

如果是无监督学习（$SSD$），SimCLR自监督训练提取特征

其中$N$是图像数量，$h(\cdot )$是projection header，$T$是温度

如果是有监督学习（$SS{D}_{+}$）：

其中$y$代表标签，$N_{y_i}$指批次中标签为$y_i$的图像数量

2.2 测试阶段

1）用马氏距离计算特征之间的距离：

如果不知道OoD的样本（$SSD$），那么之计算ID的特征均值$\mu$和协方差${\sum }^{-1}$：

论文中，在这一步之前要进行kmeans聚类，$m$为聚类的类簇数量，但是实际上代码中取$m=1$，跟没有进行聚类是一样的，直接理解为对$P_X^{in}$整个数据集计算均值和方差就行了。

如果知道OoD的一些样本（$SS{D}_k$，$k$为样本数），则分别计算ID和OoD的样本均值$\mu$和样本协方差${\sum }^{-1}$

2）判别条件

ID和ODD的真实标签分别为1和0，预测结果分别为$s_{test}^i$和$s_{cal}$，论文采用了FPR (当TPR=95%时)，AUROC和AUPR的指标进行计算。

3 实验

SSD除了在各个常用的数据集上相比于其他AD方法取得了最好的效果，还对旋转损失等非对比的自我监督任务进行了对比，SSD平均AUROC高出9.6%