2022/11/21-11/26周报

周报内容：

1.《Registration based Few-Shot Anomaly Detection》精读

2.复现《Gaussian Anomaly Detection》

---

学习产出：

一、《Registration based Few-Shot Anomaly Detection》（ECCV2022）

代码：GitHub - MediaBrain-SJTU/RegAD: [ECCV2022 Oral] Registration based Few-Shot Anomaly Detection

1.论文简介

本文采用了配准技术，对于配准网络而言，只要知道如何比较两个极度相似的图像，图像的实际语义就不再重要。 模型不需要任何参数微调来快速适应新的类别,

唯一需要估计给定相应的支持集的正态特征分布。

2.实现流程

训练时，使用多类别正常图像数据联合训练一个基于配准的异常检测通用模型随机选择来自同一类别的两个图像作为训练对。

测试时，为目标类别以及每个测试样本提供了由几个正常样本组成的支持集（仅包含正常样本）。给定支持集，使用基于统计的分布估计器估计目标类别注册特征的正态分布。

推断过程中，超出正态分布的测试样本被视为异常。对于Ttest中的每个测试图像，我们使用Mahalanobis距离来给出位置（i，j）处的小块的异常分数，其中该处马氏距离定义为：

 使用马氏距离矩阵形成异常图，该图中的高分表示异常区域。

模型架构及网络：

下图所示为RegAD的模型架构。 给定来自相同类别的成对图像，通过三个卷积残差块提取特征，每个卷积残差块之后跟随有空间变换网络（作为特征变换模块）。一个Siamese网络作为特征编码器，由一个配准损失来监督，以使来自同一类别的特征余弦相似性最大化。

 Siamese网络：由相同的编码器网络处理特征，随后在一个分支上应用prediction head P。在另一个分支上应用停止梯度操作。对称特征配准损失定义为：

3.模型效果

实验结果表明，该方法能有效地提高图像分割的准确率。MVTec和MMDD数据集上k-shot（k表示支持集中的样本数量）异常检测和定位的消融研究结果如表5所示。

模块“A”、“F”和“S”分别表示支持集的扩充、多类别上的特征配准聚合训练和空间转换网络（STN）。

 

表5中的结果表明：

1. 支持集中的样本数量越多，效果越好
2. 提出的特征配准方法有利于正态分布的估计。
3. STN模块的提出有利于提高特征配准能力，从而有利于AD的实现。

 二、复现《Gaussian Anomaly Detection》

1.处理手套数据集，最终整理出130张正常样本作为训练集

30张异常样本（并制作它们的掩膜图）和12张正常样本作为测试集

2.将其放入高斯模型进行训练，输出结果如下：

模型重新划分训练、验证、测试集：

测试结果：

 

 

 没有具体某张图的测试结果。

3.尝试进行可视化

 询问作者后，尝试将PaDiM的像素级可视化导入，理想状态如下：

 没有成功，求助师兄，还是弄不出来。。

周日求助一下其他组的师兄试一下 T-T