零样本异常分割SAA+

  最近在做缺陷检测，发现CVPR 2023的冠军方案，SAA+，该方案实现了 zero-shot零样本异常分割，感觉不错，细读论文，受益颇多，在此分享。图一是输入墙体裂缝图片和裂缝的描述得到的结果。

图一

一、相关链接

论文名称：《2nd Place Winning Solution for the CVPR2023 Visual Anomaly and Novelty
Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection》
模型相关介绍
github
paper

二、优点总结

• 零样本异常检测zero-shot anomaly segmentation，不用二次训练
• 融合自然语言和图像本身的特点
• 利用多模态先验知识进行异常定位
• 基于专家领域知识和目标图像上下文，实现基础模型对异常分割的非参数自适应

三、SAA vs SAA+

  介绍SAA+模型前，先了解SAA+的前身SAA模型

3.1 SAA

图二 SAA

• 输入
  • 图片：四个蜡烛（GT：左下角的蜡烛灯芯过长）
  • Naive prompt：朴素提示，“Anomaly“
• 处理流程
  • Anomaly Region Generator：异常区域生成器，即Grounding DINO模型，找到图片中与prompt相关的目标，实现目标检测功能，输出坐标、score
  • Anomaly Region Refiner：异常区域细化器，即SAM大模型，输入Generator生成的坐标框作为prompt，实现像素级别的图像分割功能
• 输出
  • 输出为“Wick”，检测结果为四个灯芯异常，结果错误

3.2 SAA+

图三 SAA+

• 输入
  • 图片：四个蜡烛（GT：左下角的蜡烛灯芯过长）
  • Multi Modal Prompting：多模态提示，使用了专家领域知识和目标图片上下文信息
• 处理流程
  • Anomaly Region Generator：异常区域生成器，即Grounding DINO模型，找到图片中与prompt相关的目标，实现目标检测功能
  • Anomaly Region Refiner：异常区域细化器，即SAM大模型，输入Generator生成的坐标框作为prompt，进行分割，实现像素级别的图像分割功能
• 输出
  • 输出为“Overlong Wick”，检测结果为左下角的蜡烛灯芯过长，结果正确

四、SAA+结构

图四 SAA+结构

  图四上半部分是SAA+总识别流程，下半部分（黄色）左边为专家领域知识，右边（蓝色）为图片上下文知识。
  专家领域知识包含两部分，分别用来对异常语言提示和异常属性的提示。

• Language Prompt p^L :语言提示，如“anomaly”、“defect”、“black hole”、“white bubble”
• Property Prompt P^P ：属性提示，描述异常的面积、IOU等，例如The anomaly would not exceed 0.3 object area.”，模型只取0.3这个数值进行过滤，其他的prompt非数字信息不提取
• 作者案例：在作者的蜡烛案例中，所用的prompt是：
  textual_prompts = ['color defect. hole. black defect. wick hole. spot. ', ‘candle’]
  property_text_prompts = 'the image of candle have 4 similar candle, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’
• 我的测试prompt：在图一中我使用了墙壁裂缝的图片进行识别，所使用的prompt是：
  textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
  property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’

  目标图片上下文信息，包含显著性提示（Sailency Prompt，即p^s）和置信度提示(Confidence Prompt，即p^c) 。

• Sailency Prompt:它是从图片中学习，模仿人类直觉，能识别出异常区域和周围区域的差异，使用预训练卷积神经网络提取特征，计算每个特征点与相邻N个特征点的余弦相似度距离，获取显著图，显著图的计算公式如图五。
• Anomaly Confidence as Prompt:由置信度排序取K个候选，计算anomaly map

图五 显著图计算方法

---

介绍完专家领域知识和图片上下文信息，总结下SAA+的识别流程：

1. 输入原图Image和语言提示p^L，经过生成器和细化器，得到一系列的mask图像和分数
2. 由输入的属性提示P^P，取到面积阈值、IOU阈值，对多个mask图进行过滤
3. 输入原图，提取图像特征，计算特征点与周围的差异性，得到显著图Sailency Map
4. 将mask的分数和Sailency Map进行计算，重新得到校准分数Refined scores
5. 由分数排序，取前K个候选，得到最后的异常图

---

五、测试结果展示

图六 胶囊识别结果

input：输入的胶囊图片
output：Anomaly Score 是SAA+最终的输出结果，Saliency是SAA+中间学习图片上下文信息得到的显著图
Prompt：

textual_prompts = ['color defect. crack. black defect. curve. ', ‘wall’]
property_text_prompts = 'the image of wall have 1 similar wall, with a maximum of 1 anomaly. The anomaly would not exceed 0.3 object area. ’

六、How to use

安装方法可参考github，这里不具体写了，有问题可以评论区讨论哦
码文不易，记得点赞、收藏✌️