CutPaste Self-Supervised Learning for Anomaly Detection and Localization

CutPaste: Self-Supervised Learning for Anomaly Detection and Localization

用于异常检测和定位的自监督学习

简洁版

问题：异常的检测和定位

现有工作不足：

​ 现有的工作主要关注以对象为中心的自然图像中的检测语义异常值，这种方式在检测细粒度异常方面，没有很好的通用性

​ 现有工作的中数据增强的方式（旋转预测，对比）对检测局部缺陷来说是次优的

**解决问题的挑战: **

1. 很难获取大量异常数据
2. 缺陷很小且细微
3. 精确定位缺陷是一个挑战，很难使用热图式方法进行定位。

本工作的优点:

1. 解决了图像异常检测在高分辨率图像中局部存在各种形式的未知异常缺陷。
2. 设计了一种新的代理任务（a novel proxy task），CutPaste是一种提出的数据增强策略，用于剪切图像块并在图像的随机位置粘贴。
3. 学习到的表示来定位高分辨率图像中的缺陷区域。
4. CutPaste增强是为了产生空间不规则性，作为真实缺陷的粗略近似（这些真实的缺陷在训练时通常无法获取）。
5. CutPaste的自监督学习是通用的，可以用于改进语训练网络，以更好地适应数据。

本工作的可提升性：

​ CutPaste模型基于合成异常检测训练时，缺陷检测的精度比 单个类型缺陷训练的精度有所下降。

问题： 异常的检测和定位

现有工作的不足：

大多数现有的工作主要关注以对象为中心的自然图像中检测语义异常值，这些方法在检测细粒度异常模式并不像在缺陷检测中那样具有良好的通用性。

大多数工作应用现有的方法，例如旋转预测或对比学习，对于检测局部缺陷是次优的。【几何变换(旋转、平移等)在学习语义概念的表示方面是有效的，但在规则性(例如连续性、重复性)则没那么有效】

解决问题的挑战：

在没有缺陷样本的情况下，检测出图像的异常状况。

1. 很难获取大量异常数据，无论是标记的还是未标记的
2. 正常模式和异常模式之间的差异通常是细微的，因为在高分辨率图像中，缺陷区域可能很小且很细微。
3. 精确定位缺陷的一个挑战：当我们的模型学习图像的整体表示时，很难使用热图式方法进行定位。

本工作的优点:

1. 解决了图像异常检测的一种特殊情况，其中在高分辨率图像中局部存在各种形式的未知异常模式。

2. 设计了一种新的代理任务（a novel proxy task），用于表征的自监督学习（self-supervised
   learning of representations）。【在正常训练数据和CutPaste增强的数据之间建立了一个代理分类任务。CutPaste是一种提出的数据增强策略，用于剪切图像块并在图像的随机位置粘贴。】

3. 解释了如何使用学习到的表示来定位高分辨率图像中的缺陷区域。

4. CutPaste增强是为了产生空间不规则性，作为真实缺陷的粗略近似（这些真实的缺陷在训练时通常无法获取）。

5. CutPaste的自监督学习是通用的，可以用于改进语训练网络，以更好地适应数据。

相关工作内容：

遵循两阶段框架[52]：

1. 第一阶段从正常数据中学习深度表示，通过解决代理任务学习自监督表示
1. 然后使用学习的表示构建一个单类分类器。以区分具有异常和正常的数据。

​ 模型解释

1. a上：将正常样本送入CNN进行训练
2. a下：并用CutPaste方法从正常数据中剪切一个小矩形区域，并粘贴到随机位置，也送入和a上同一个训练网络中训练，得到模型。
3. b上：表示在测试和定位阶段：图像级表示对异常检测做的整体决定，并通过GradCAM定位缺陷。
4. b下：斑块级表示从局部斑块中提取密集特征，以生成异常评分图，然后将其最大化用于检测或上采样用于定位。

2.1. Self-Supervised Learning with CutPaste 基于剪贴的自监督学习

在第2.1节中，提出了一种通过预测剪切粘贴增强来学习自监督表示的新方法，

​ 异常检测的任务，通常出现在物体表面是连续性，重复性的。

​ 所以该篇论文思路就是：设计一个增强策略，创建局部不规则模式。训练模型来识别这些局部不规则性，希望模型能推广到测试看不见的真实缺陷。

​ 剪贴就是一种很好的创造不规则性的方法。

防止学习辨别增强图像的过于简单的决策规则，并鼓励模型学习检测不规则性，我们提出如下CutPaste增强：

1. 从正常训练图像上切下一个大小和纵横比可变的小矩形区域。
1.   可选地，我们旋转或抖动面片中的像素值。

3.  将补丁粘贴回随机位置的图像。

​ 根据旋转预测思想，提出的自我监督表征学习的训练目标定义：

​ X表示一系列正常样本，CP( ) 是CutPaste augmentation，g是一个由深度网络参数化的二进制分类器。

​ CE 表示交叉熵损失。 在 x 反馈到g或CP之前，会应用数据增强，例如平移或颜色抖动。

2.2 剪贴变体

1. CutPaste - Scar

2.2 Multi-Class Classification 多类分类

​ 3-way classification task 三向分类任务：normal、CutPaste and CutPaste-Scar

​ 在增广并集的二进制和三向分类任务之间，我们观察到通过三向分类任务训练的表示具有更好的检测性能。

一个自然的问题是，Cutpaste的成功是否来自于对真实缺陷的良好模仿：

​ （1）Cutpaste仍然不是对真实缺陷的完美模拟，

​ （2）学习它来发现不规则性对看不见的异常有很好的推广作用。

2.3. Computing Anomaly Score 计算有异常分数

采用GDE 【43】

2.4 Localization with Patch Representation 基于面片表示的定位

​ c(x) 表示在x的随机位置裁剪一个补丁。 在测试时，我们从给定步幅的所有补丁中提取嵌入。对于每个面片，我们评估其异常评分，并使用高斯平滑将评分传播到每个像素[32]。

实验设置方式

我们遵循一类分类协议，也称为半监督异常检测[10]，**在其中，我们为每个类别在其各自的正常训练示例上训练一个一类分类器。**在[52]之后，我们通过使用ResNet-18[22]和一个MLP projection head （位于平均池层的顶部，然后是最后一个线性层）从头开始的增强预测来学习表示。我们构造了一个高斯密度估计（GDE）作为基于顶部合并特征的异常检测器的方程（2）。

1. 设置五次随机种子实验，报告每类平均AUC和标准误差、报告纹理、对象、和所有类别的平均误差和标准误差
2. 用自监督学习不同的proxy tasks来测试训练的表征，包括基线，如旋转[20]、剪切或疤痕预测、提议的剪切粘贴、剪切粘贴疤痕预测，并将两者用于三向分类（还有一者是正常样本）。
3. 与以前的工作进行了比较，包括深度一类分类器（DOCC）[45]、无信息学生[5]和补丁SVDD[61]。

5. Ablation Study

1. From Cutout to CutPaste

2. Binary v.s. Finer-Grained Classification

3. CutPaste on Synthetic Anomaly Detection 基于合成异常检测的CutPaste

   ​ 研究了模型对未知异常的推广

   该数据集是通过将不同形状的遮罩修补到正常数据（如数字[29]、正方形、椭圆形或心脏[35]），填充随机颜色或自然图像而创建的。合成异常的样本如图6所示，

​ CutPaste（三向）模型在合成数据集上表现良好，平均达到98.3 AUC。 加 † 表示从自然图像中提取的结果 natural images (†).

相关论文：

**3-way classification ：3-way classification task between normal, CutPaste and CutPaste-scar. **

【52】两阶段框架 ： Learning and evaluating representations fordeep one-class classification.

在缺陷检测的算法设计中使用剪切也可以在[32,57]中找到。

【19】 旋转预测思想

【51】GradCAM等视觉解释技术对图像级探测器的热图进行可视化[51]。

在一类分类设置下的异常检测已经得到了广泛的研究[49、56、46、63、66、13、42、36、27]，

[39,19,8,60,40,12,21]也被证明对一类分类和异常检测有效。

由于工业检测或医疗诊断等实际应用，缺陷检测[9,5]受到了广泛关注。最初的步骤是通过自动编码[9,7,25,59]、生成性对抗网络[48,3]、使用ImageNet上的预训练模型[38,45,6,14,43,44]以及通过解决不同的代理任务和增强[61,47,57,15]来进行自监督学习的方法来完成的。

[11] 提出了一种以贴片交换增强为噪声处理的去噪自动编码器。[26]提出通过使用GAN预测局部增强来学习表示法。

Gaussian smoothing [32]

我们还按照[20,52]中的协议在CIFAR-10[28]上进行语义异常检测实验，

虽然在语义一类分类[20,24,4,54,52]的背景下研究了旋转预测[19]和对比学习[60,12]等流行方法，

【20】 ：基于几何变换的深部异常检测

【24】：使用自监督学习可以提高模型的鲁棒性和不确定性。

【4】：基于分类的一般数据异常检测。

【52】：学习和评估深层单类分类的表征。

【54】：通过对分布转移实例的对比学习进行新颖性检测。

【19】：旋转预测思想 通过预测图像旋转进行无监督表征学习。

核密度估计器KDE[52]或高斯密度估计器GDE[43]。

尽管非参数KDE不受分布假设的影响，但它需要许多例子来进行精确估计[58]，

定位缺陷区域[38,6,61]，

【6】Uninformed students: Student-teacher anomaly detection with discriminative latent embeddings.不知情的学生：学生-教师异常检测与歧视性潜在嵌入。

【38】：Anomaly detection in nanofibrous materials by cnn-based self-similarity.基于cnn的自相似性在纳米纤维材料中的异常检测。

【61】：Patch svdd: Patch-level svdd for anomaly detection and segmentation.Patch svdd：用于异常检测和分割的Patch-level svdd

使用高斯平滑将评分传播到每个像素[32]

【32】Explainable deep one-class classification. 可解释的深层一类分类。

CutMix[62] 一个主要区别是CutMix利用了现有的图像标签和目标中的混搭[64]，而CutPaste预测是一种无需图像标签的自我监督学习。

【62】：Cutmix: Regularization strategy to train strong classifiers with localizable features. Cutmix：训练具有本地化特征的强分类器的正则化策略。

classification. 可解释的深层一类分类。

CutMix[62] 一个主要区别是CutMix利用了现有的图像标签和目标中的混搭[64]，而CutPaste预测是一种无需图像标签的自我监督学习。

【62】：Cutmix: Regularization strategy to train strong classifiers with localizable features. Cutmix：训练具有本地化特征的强分类器的正则化策略。

【10】 Anomaly detection: A survey. ACM computing surveys (CSUR), 2009. 5