论文解析：区域和强度可控的GAN用于工业图像缺陷生成，数据扩充，分割

前言

论文名称：
Region- and Strength-Controllable GAN for Defect Generation and Segmentation in Industrial Images
论文地址：
IEEE TII Region- and Strength-Controllable GAN for Defect Generation and Segmentation in Industrial Images

摘要

计算机视觉的深度学习 (DL) 基于海量、多样化和注释良好的训练集取得了显着的成果。 然而，很难收集涵盖所有可能特征的缺陷数据集，尤其是对于小而弱的缺陷。 因此，提出了一种缺陷区域和强度可控的缺陷图像生成方法。 被视为使用生成对抗网络 (GAN) 的图像修复，生成的缺陷区域是通过使用缺陷掩码来控制的。 此外，基于缺陷和非缺陷之间的特征连续性在潜在变量空间中构造缺陷方向向量来控制缺陷强度，从而实现缺陷掩模和图像之间的一对多对应。此外，还设计了缺陷注意力损失以强制生成模型关注缺陷区域。 实验上，我们的方法生成的图像质量和多样性更好，从而显着提高了缺陷分割性能（Kolektor 表面缺陷（KSD）和金属钩缺陷（MHD）上的联合交集（IoU）分别为 63.20% 和 61.86%） 数据集），尤其是对于小而弱的缺陷。

1. 解决问题

由于近年来深度学习 (DL) 在计算机视觉性能方面取得了显着进步，将 DL 应用于表面缺陷分割已成为许多工业系统的研究热点，例如金属、纺织品和太阳能电池。 DL 在计算机视觉应用中取得如此显着成果的主要原因之一是海量、多样化和注释良好的训练集的可用性。但是，由于生产线的良率较高，很难采集到大量的缺陷图像。因此，考虑到缺陷数据集的大小和多样性，很难满足构建令人满意的基于 DL 的缺陷分割模型的要求。具体来说，在工业现场采集的典型缺陷图像往往具有明显的特征，称为正常缺陷。对应于正常样本，边界缺陷样本是基于工业检测标准位于检测超曲面附近的缺陷样本；边界缺陷样本难以收集且具有较高的值密度。由于尺寸和强度是工业检测最重要的指标，区域小、特征弱的缺陷是常见的边界缺陷样本，如图1所示。 很难收集到可以覆盖所有可能特征的缺陷，包括正常和边界缺陷样本，以满足DL检测模型的要求。此外，为在生产现场收集的各种缺陷图像构建像素级注释是一项耗时且费力的任务。

图 1. 正常和边界缺陷。 检测超曲面附近的边界缺陷很难收集。

因此提出一种基于GAN的区域和强度可控的生成方法，生成样本，尤其是边界样本

2 方法

图2.1训练

图2.2 测试

整体过程可以看做为缺陷部分遮盖的图像复原并在隐变量空间中控制缺陷特征的强弱

2.1 缺陷掩码输入模块

训练过程中，基于掩码将缺陷区域遮挡，形成缺陷区域被遮挡的缺陷图像

图3.1 掩码输入-训练

测试过程中将基于工业检测标准等先验知识，构建缺陷掩码，并将其覆盖在无缺陷图像中，以控制生成缺陷图像的位置，尺寸，形状。
图3.2 掩码输入-测试

2.2 缺陷方向向量模块

基于隐变量特征变换控制缺陷强度

缺陷方向向量构建阶段

图4.1 缺陷方向向量构建子模块-训练

基于缺陷图像和无缺陷图像，构建逻辑回归，并以逻辑回归的参数 w，作为缺陷方向向量 Vd

隐变量生成阶段

将输入的隐变量，求取其到分类边界的距离，然后在该变量与分类面之间进行差值，获取新样本

2.3 损失模块

损失模块的主要思路是对分别对整张图像和缺陷局部构建损失，包括重建损失和对抗损失。

3 实验

本文实验是在KSDD数据集上构建

其对弱对比度缺陷的检测能力显著提高

整体检测性能在定量上也显著提升