Transformer+异常检测论文解读

1. OOD

OODformer: Out-Of-Distribution Detection Transformer是2021年12月发表在BMVC上的一篇比较新的OOD的论文。顾名思义,OODformer使用Transformer做异常检测。算法流程图如下:

Transformer+异常检测论文解读_第1张图片
OODformer是一种比较简单的算法,和之前的SSD、CSI等OOD方法的思路接近。OOD的主要步骤都如下:

  1. 训练一个ViT(有监督)。
  2. 根据ViT提取学习到的特征,用马氏距离度量测试样本和训练样本之间的差异,差异大(或者置信度低)则为异常样本。

重要更新:我个人认为这篇论文是有问题的,不建议大家学习

代码中的这一行代码存在问题,分别对来自in-dataset和out-of-dataset的测试数据做了不同的处理:对in-dataset使用的是真实标签,out-of-dataset使用的是预测的标签。

这一不同的处理在异常检测中是不被允许的。因为异常检测目的是找到谁是异常数据,而这样的处理相当于提前知道了谁来自in-dataset,谁来自out-of-dataset,只有这样才能分别做不同的处理。相当于作弊了。

2. One-CLass

介绍三篇One-CLass+Transformer的算法,采用的基本结构都是encoder-decoder的经典无监督异常检测方法。

2.1 AnoViT

AnoViT: Unsupervised Anomaly Detection and Localization With Vision Transformer-Based Encoder-Decoder 用Transformer作为encoder,CNN网络作为decoder,该方法使重建误差、输入图像与重建图像之间的差异最小化,并学习正常数据的正态分布以进行异常检测。

Transformer+异常检测论文解读_第2张图片

2.2 UTRAD

UTRAD: Anomaly detection and localization with U-Transformer主要的贡献除了采用了transformer之外,主要是提出了一种U型的多尺度金字塔层次结构。在不同层之间连接,有助于检测多尺度结构和非结构异常。UTRAD的结构如下:

Transformer+异常检测论文解读_第3张图片
UTRAD的步骤:

  1. 将图像输入预训练网络,提取多尺度特征。
  2. 将深度特征发送到U-transformer进行特征级重构。
  3. 利用重构误差得到异常评分图。

2.3 VT-ADL

VT-ADL: A Vision Transformer Network for Image Anomaly Detection and Localization在encoder的输出之后加入了一个gaussian mixture density网络用来定位异常。

Transformer+异常检测论文解读_第4张图片

VT-ADL的步骤:

  1. 将图像分割为面片,通过位置嵌入进行增强后送到变压器编码器。
  2. 将编码后的特征求和为重构向量,再将重构向量送入解码器。
  3. 变压器编码的特征也被输入高斯近似网络,该网络随后用于定位异常

你可能感兴趣的:(异常检测,计算机视觉,transformer,深度学习,计算机视觉)