FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

自学所用

文章提出了用二维归一化流实现的FastFlow，并将其用作概率分布估计；FastFlow可以作为一个插件模块，与任意深度特征提取器（如RestNet和视觉转换器）一起使用，用于无监督的异常检测和定位；在训练阶段，FastFlow学会将输入的视觉特征转化为可处理的分布，并在推理阶段获得识别异常的可能性。

由于异常的概率密度较低，正常和异常数据通常表现出严重的长尾分布，甚至在某些情况下没有异常样本；

提出的FastFlow解决了原始的一维归一化流模型破坏了二维图像固有的空间位置关系，限制了流模型的能力，同时推断的复杂性很高，限制了实用价值等问题。FastFlow将原有的归一化流扩展到二维空间，使用全卷积网络作为子网络，它可以保持空间的相对位置，提高异常检测的性能，同时支持整幅图像的端到端判断，将异常检测和定位结果一次性直接输出，提高了推断效率。

滑动窗口法用于像素异常定位是，需要测试大量图像块，计算复杂度高。因此使用FastFlow通过端到端测试阶段获得全局和局部特征分布的可学习建模；视觉转换器可以提供全局感受野，更好地利用全局和局部信息，同时保持不同深度的语义信息；

在训练阶段，使用正态图像进行训练，以二维方式将原始分布转换为标准正态分布；在推理中，我们使用二维特征上的每个位置的概率值作为异常值；

异常检测方法：

现有的异常检测方法可以归纳为基于重构的方法和基于表示的方法；基于重构的方法通常利用自动编码器或者生成对抗网络等生成模型对正常数据进行编码和重构；采用基于表示的方法，从视觉转换器或者resnet中提取视觉特征，通过FastFlow模型建立其分布。

用于异常检测的特征提取器：

使用CNN和VIT的网络来证明该方法的普适性。

方法论：

问题定义和基本方法：

提出FastFlow将从典型骨干网络提取的正态图像的高维视觉特征投影到标准正态分布中。

特征提取器：

通过RESNET或者视觉转换器从输入图片中提取代表特征，只使用某一层的特征；对于resnet，我们直接使用前三个块中最后一层的特征，并将这些特征放入三个对应的FastFlow模型中。

二维流动模型：

二维流：，用通过双射可逆映射将图像特征投影到隐藏变量z；

，利用估计图像特征的对数似然：

，和是和的双射可逆流模型的雅可比行列式，是二维流动模型的参数。推断中，异常图像的特征应该是非分布的，因此，异常图像的似然比正常图像的似然要低，这种似然可以作为异常评分。具体的，将每个通道的二维概率相加，得到最终的概率图，并使用双线性插值将其上采样到输入图像的分辨率。

流模型是通过将多个可逆转块按以下顺序堆叠而成：

，

在每个块中使用仿射耦合层：

，：是两个神经网络的输出。

和：沿通道维度执行分裂和连接操作；在默认子网中采用二维卷积层，保留流模型中的空间信息；采用3×3卷积和1×1卷积交替出现的全卷积网络，在流模型中保留空间信息。

实验：

从推理速度、附加推理时间和附加模型参数等方面对FastFlow等方法进行复杂性分析（附加是指不考虑主干本身）；

定量结果：

消融实验：

比较不同骨干网络的子网在AUC和推理速度下交替使用3×3和1×1卷积核和只使用3×3卷积核的情况：

特征可视化和生成：

FastFlow模型是一个双向可逆概率分布变换器，在前向过程中，它将来自主干网络的特征图作为输入，并将其原始分布转换为二维空间中的标准正态分布。在逆过程中，FastFlow的逆过程可以从特定的概率采样变量中生成视觉特征。

通过FastFlow模型转发得到概率图。FastFlow 成功地将原始分布转换为标准正态分布。然后，将噪声干扰添加到该概率图中黄色箭头指示的某个空间区域，并使用逆 Fastflow 模型从污染概率图中生成皮革特征张量。其中在这个特征张量中可视化了一个通道的特征图，可以观察到新的异常出现在对应的污染位置。