《PaDiM: a Patch Distribution Modeling Frameworkfor Anomaly Detection and Localization》论文阅读笔记

作者：Thomas Defard, Aleksandr Setkov, Angelique Loesch, Romaric Audigier

出自：Nov2020

        作者提出了一种新的斑块分布建模框架PaDiM，用于在单类学习设置中同时检测和定位图像中的异常。PaDiM使用预先训练的卷积神经网络（CNN）进行补丁嵌入，并使用多元高斯分布来获得正常类的概率表示。

Introduction:

        每个贴片位置由多元高斯分布描述;

        PaDiM考虑了预先训练的CNN的不同语义层之间的相关性。

        分数是测试图像的嵌入向量与表示来自训练数据集的正态性的参考向量之间的距离。它在测试时对一组正态嵌入向量运行K-NN算法，PaDiM中的正态类是通过一组高斯分布来描述的，该高斯分布还对所使用的预训练CNN模型的语义水平之间的相关性进行建模。作者选择ResNet [27]、Wide-ResNet [28]或EfficientNet [29]作为预训练网络。

1，在训练阶段，正常图像的每个块与其在预先训练的CNN激活图中的空间对应的激活向量相关联。然后将不同层次的激活向量连接起来，得到携带不同语义层次和分辨率信息的嵌入向量，以实现细粒度和全局上下文编码。还应用了简单的随机降维降低了模型在训练和测试时间上的复杂性，同时保持了最先进的性能。

2，为了学习位置（i，j）处的正常图像特性，我们首先从N个正常训练图像计算（i，j）处的补丁嵌入向量集Xij = {xk ij，k ∈ [[1，N]]}，为了总结该集合携带的信息，我们假设Xij由多元高斯分布N（µ ij，Σ ij）生成，其中µ ij是Xij的样本均值，样本协方差Σ ij估计如下：

3,异常图的计算

        我们使用Mahalanobis距离 M（xij）来给予测试图像的位置（i，j）处的块的异常得分。

 实验：

数据集：MvTecAD,(RD MvTecAD),STC,

评价指标: AUROC,PRO(按区域重叠评分)

结论：PaDiM框架的一个优点是用户可以通过选择主干和嵌入大小来适应其推理时间要求、资源限制或预期性能，从而轻松地调整方法。