读《Segment Anything in Defect Detection》

摘要

(好像只是说把SAM应用到了红外缺陷分割领域)

引言

无损检测得到红外图像，根据热能观察异常
贡献：

•从两个光学脉冲热成像系统构建广泛的缺陷热数据库，包括各种材料并释放它们。
• 开发DefectSAM，这是第一个用于缺陷检测的大规模基础模型，超越了最先进的 (SOTA)分割基础模型，即使在复杂场景下也表现出卓越的性能。
• 描述缺陷检测的标准，识别该领域的紧急挑战，并提供解决方案、建议和方向。

相关工作

与之前将语义、实例和全景分割任务结合在一起的多任务分割系统（FCN、mask r-cnn、unet那些老方法）[4,19,48]不同，Segment Anything (SAM)[20]是一个多功能模型，可以执行可提示的分割任务，使其能够通过提示工程来适应广泛的现有和新的分割任务。这种能力使 SAM能够概括其在各种任务中的性能，尽管并非所有任务都可以容纳。提示工程还适合解决缺陷检测问题，找到弱缺陷和小缺陷，推广到新的热图像。

对于无监督

这些算法的局限性是由于热图像外观的相似性、缺乏不同的数据集和材料以及实验室实验的耗时和劳动密集型性质造成的。因此，基于深度学习的模型通常存在严重的过拟合和有限的泛化能力，限制了它们对看不见的缺陷类型的适用性。

方法

任务

在缺陷检测领域，迫切需要解决四个紧迫的挑战。
(a) 开发有效的方法来识别热图像中的所有缺陷至关重要，即使在存在高水平的噪声的情况下。（多分类）
(b)增强训练模型的泛化能力对于确保它们在检测不同样本缺陷方面的适用性至关重要。
© 使用热图像准确确定缺陷的真实大小仍然是一个重要问题。
(d)计算各种材料中缺陷的深度需要进一步研究。
在这项研究中，我们的重点是通过图像分割技术解决问题 (a) 和 (b)，同时还估计问题 ©的更准确的缺陷分割区域。在未来的研究中，将探讨计算缺陷深度(问题(d))的挑战。

预处理

好像是一些热力学上的公式推导，认为将它们与深度学习技术相结合有望在未来解决问题 (d)。

预训练

问题 (a) 和问题 (b) 对深度学习模型在该领域缺陷检测进展提出了重大挑战。为了解决这些问题，人们对深度学习模型辅助方法的需求达成共识，并结合专家参与缺陷位置的决策过程。快速学习的概念[6,49]已经成为这种方法实施和进展背后的驱动力。由于缺陷图像的固有特征，如高噪声水平、模式的相似性和有限的样本可用性，传统的深度学习模型往往存在过拟合和缺乏泛化能力，也出现在其他领域。为了缓解这些问题，在计算机视觉和自然语言处理领域已经建立了大规模模型的预训练和微调范式。（感觉像是说这种大模型的发展已经可以让其他领域的人很轻易地利用本领域的专家附加prompt微调从而完成任务了，说了好多懵逼的东西）

(差不多就是个应用文，网络图都这么水)