【文献阅读笔记】无监督异常检测遇到噪声数据：STKD

2022 ICIP
领域：异常检测
目标：图像输入数据

1、什么是噪声数据

在无监督异常检测设置中，用于训练的数据均是正常图片，但由于缺陷可能是细微的，因种种原因可能无法保障用于训练的数据集内均是正常图像，有可能混有异常图像。如果仍然按照原有的假设进行异常检测，将会影响检测性能。

2、解决的措施

1. 通过迭代执行异常检测步骤和训练步骤使得训练集细化。
2. 通过教师模型的监督使得受异常样本的影响更小。

3、模型

模型以CutPaste为基础模型，实验配置与CutPaste相似。

4、方法

关于知识蒸馏技术的引入，教师和学生网络的输入是正常图像和合成异常图像，教师是在ImageNet上预训练的，对于正常图像，教师和学生的KL散度比较小，对于合成异常图像，教师和学生的KL散度就会比较大，指示需要进一步将KL增大的图像从训练集中去掉，实现细化数据集。

5、消融实验

所提的两种解决措施均能够提升检测性能。
由此可见这两种方法在解决噪声数据方面的有效性。

6、引用

Liu H, Li K, Li X, et al. Unsupervised Anomaly Detection with Self-Training and Knowledge Distillation[C]//2022 IEEE International Conference on Image Processing (ICIP). IEEE, 2022: 2102-2106.

7、想法

虽然这样将噪声数据去除，但是使得数据集内可用的数据减少，可能会对系统的性能产生影响。如Fig2所示，异常率增加，数据集内可用的训练数据减少，导致AUC下降较大。