异常GPT：使用LVLMs检测工业异常

AnomalyGPT：利用LVLMs进行工业异常检测

摘要

本文介绍了一种名为AnomalyGPT的新型工业异常检测方法，该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常，无需手动设置阈值。此外，AnomalyGPT还可以提供与图像相关的详细信息，以交互方式与用户进行交流。本文详细阐述了AnomalyGPT的模型架构、解码器、提示学习器以及异常模拟方法，并在VisA和MVTec-AD数据集上进行了实验验证。结果表明，AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能。

1. 引言

工业异常检测(IAD)是工业场景中的一项重要任务，旨在检测和定位产品图像中的异常。现有的IAD框架通常需要手动设置阈值来区分正常和异常样本，限制了其实际应用。最近，大型视觉语言模型(LVLMs)在理解图像和执行视觉任务方面表现出色。本文旨在探索LVLMs在IAD中的应用，并提出了AnomalyGPT这一新型IAD方法。

2. AnomalyGPT模型

AnomalyGPT是一个基于LVLM的会话式IAD模型，用于检测工业异常并精确定位。模型使用预训练的图像编码器和LVLM对齐图像及其对应的文本描述。模型引入了解码器和提示学习器模块，以增强IAD系统的性能并实现像素级定位输出。

2.1 模型架构

AnomalyGPT首先将查询图像传递给冻结的图像编码器，然后从中间层提取补丁级特征，并将其输入到图像解码器中，以计算与异常和正常文本的相似性。提示学习器将这些特征转换为提示嵌入，并将其与用户文本输入一起输入到LLM中。LLM利用提示嵌入、图像输入和用户提供的文本输入来检测异常并定位其位置。

2.2 解码器

AnomalyGPT使用轻量级的基于特征匹配的图像解码器，支持少样本和无监督的IAD框架。解码器的设计灵感来自WinCLIP、PatchCore和APRIL-GAN框架。模型将图像编码器划分为4个阶段，并从每个阶段提取中间补丁级特征。

2.3 提示学习器

提示学习器将定位结果转换为提示嵌入，以利用图像的细粒度语义，并保持解码器和LLM输出之间的语义一致性。模型还引入了与解码器输出无关的可学习提示嵌入，为IAD任务提供额外信息。

2.4 异常模拟

AnomalyGPT使用NSA方法模拟异常数据。NSA方法使用Cut-paste技术生成模拟异常图像，并使用Poisson图像编辑方法减轻粘贴图像块引入的不连续性。

3. 数据集和评估指标

AnomalyGPT在VisA和MVTec-AD数据集上进行实验。模型使用AUC作为评估指标，同时使用像素级和图像级AUC来评估异常定位和检测性能。此外，模型还使用图像级准确率来评估其方法的性能。

4. 结果

4.1 定量结果

AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能，优于先前的方法。

4.2 定性结果

AnomalyGPT能够指示异常的存在，标记其位置，并提供像素级定位结果。在1-shot in-context学习中，由于缺乏训练，模型的定位性能略有下降。

5. 结论

AnomalyGPT是一种新颖的基于LVLM的会话式IAD模型，能够检测和定位图像中的异常。AnomalyGPT展示了在少样本和无监督学习设置下的卓越性能，为IAD行业提供了新的思路和可能性。