文献速递：（第三部分）— （超声非破坏性评估中合成和增强训练数据生成与评估的最新研究进展）

文献速递：（第三部分）— （超声非破坏性评估中合成和增强训练数据生成与评估的最新研究进展）

Title

题目

A review of synthetic and augmented training data for machine learning in ultrasonic non-destructive evaluation

机器学习在超声非破坏性评估中的合成和增强训练数据综述

01

文献速递：

介绍

注：原文篇幅较长，这里分多次进行分享。

近年来，超声检测（UT）在机器学习（ML）的应用不断增加，推动了缺陷检测和分类中更高级别的自动化和决策制定。在非破坏性评估（NDE）中，特别是在UT中应用ML，构建一个通用的训练数据集极其困难，因为需要原始和具有代表性的有缺陷样本的数据。然而，在大多数UT测试案例中，有缺陷的样本数据本质上很少，使得数据覆盖成为应用ML时的主要问题。常见的数据增强（DA）策略提供的解决方案有限，因为它们不增加数据集的变异性，可能导致对训练数据的过拟合。虚拟缺陷方法和最近在UT中应用的生成对抗神经网络（GANs）是旨在解决这一问题的复杂DA方法。另一方面，超声波动传播建模方面的成熟研究允许生成合成UT训练数据。在这一背景下，我们提出了第一个主题综述，总结了过去几十年在NDE中合成和增强UT训练数据的进展。此外，还介绍了合成UT数据生成和增强的方法概述。介绍并讨论了有限元、有限差分和弹性动力有限积分等数值方法，以及广义点源合成、高斯束叠加和铅笔法等半解析方法以及其他UT建模软件。同样，介绍并讨论了现有的一维和多维UT数据、特征空间增强和用于增强的GANs的DA方法。文章最后详细讨论了现有方法在合成UT训练数据生成和UT数据DA方面的优势和局限性，以帮助读者决定应用于特定测试案例。

*State of the art of generation and evaluation of synthetic and augmented ultrasonic training data in non-destructive evaluation*

非破坏性评估中合成和增强超声训练数据生成与评估的最新研究状态（原文第四部分）

使用模拟方法的不同途径

早期研究由于实验数据的稀缺，主要是为了验证ML方法在NDE领域的可行性。例如，通过二维有限元模型（FEM）生成超声A扫描图，用于训练简单的神经网络（NN），以识别和分类缺陷。这些研究中，超声波系统主要使用一到两个换能器，以脉冲回波或投掷-接收配置激发引导波或穿透式体波。由于当时计算能力有限，测试案例和代表性的FEM模型相对简单，元素数量有限。此外，由于计算资源稀缺，生成的数据集规模较小，仅包含几百个条目，这对于浅层NN来说可能足够。这些数据集被用于ML模型的训练和验证。

在特征向量的构建上，从模拟的A扫描图中提取了手动选择的特征，如峰值高度和峰值时间等。有些研究中，完整的采样波形被直接用作NN的输入。网络的性能取决于输入NN的特征选择的“优劣”。

为了使这些结果具有普遍性，需要更大的合成数据集。为了使数值数据与实验案例相匹配，应用了噪声增强和考虑了材料衰减。在后面还对噪声增强的更多细节进行了描述。

此外，还有研究使用NN进行梁和杆状结构的缺陷检测，通过2D-FEM和半解析模型生成频率响应曲线，直接用作训练NN的输入特征空间。还有研究比较了使用不同深度学习网络（如DNN、CNN、RNN和LSTM）检测1D波导中的裂纹。

相控阵超声换能器和卷积神经网络的结合使用。 随着UT案例的复杂性增加，相应的NDT系统（如PAUT）也在发展，产生了丰富的类似图像的UT数据。基于DNN在图像分类方面的成功，越来越多地使用这种ML框架进行NDE。与浅层学习相比，CNN可以独立学习最优特征，但通常需要更多的数据。

使用GANs（生成对抗网络）和数值方法的途径。 自2014年GANs被引入以来，使用GANs生成UT训练数据的概念首次由Virupakshappa等人提出。他们使用多物理云软件OnScale对金属块中不同缺陷类型的浸没式UT测试设置进行了建模，生成了B扫描图像数据。

讨论了使用粒子滤波器的方法

粒子滤波器（PF）基于概率方法，允许测量和模拟模型中的误差。通过将模拟数据与测量数据合并，PF估计状态变量的概率密度函数。在这里，散射分量（与缺陷几何形状相关的特定信息）被用于PF中的似然评估。该方法在超声测量中得到了成功的演示，能够仅使用单个换能器获得的一个PE信号来识别铝样品中人工缺陷的几何形状。

使用数据增强方法的途径

可以使用输入空间数据增强方法人为地扩充现有的UT数据库。具体使用的方法取决于UT数据的格式和期望的目标。最常见和广泛使用的输入空间数据增强方法之一是添加噪声或在某些情况下降低噪声。在上述几乎所有工作中，都使用了向合成UT数据中添加噪声的方法，以考虑粒子噪声和电子设备（包括换能器）的噪声，以及提高训练的鲁棒性。

这一部分详细介绍了在非破坏性评估中使用合成和增强超声波训练数据的最新研究进展，涵盖了从早期的简单模型到最新的深度学习和数据增强技术的发展。

Figure

图

Fig. 12. Schematic overview of the framework. A CNN is fully trained using 3D simulation data (top). The simulation trained CNN is then applied to predict length, location, and orientation of embedded cracks from independent experimental ultrasound signals (bottom). Normalized A-scans were used as input to the CNN. Reprinted from Publication [186], with permission from Elsevier.

图 12. 框架的示意概览。使用3D模拟数据（顶部）完全训练一个卷积神经网络（CNN）。然后，将训练有素的模拟CNN应用于从独立的实验性超声信号中预测嵌入裂纹的长度、位置和方向（底部）。标准化的A扫描被用作CNN的输入。经Elsevier许可，转载自出版物[186]。

Fig. 13. Reprint from [195] of the investigation of AGWN to the signals. (b) Location of activated values for a single time trace (b) from the first layers of a CNN trained on noisy data and noise-free data. Images used are under the CCBY-4.0 license as stated in Section 7.

图 13. 从[195]重印的对信号进行加性高斯白噪声（AGWN）调查。(b) 单个时间轨迹（b）的激活值位置，来自于在有噪声数据和无噪声数据上训练的CNN的第一层。所使用的图像根据第7节声明，遵循CC-BY-4.0许可

Fig. 14. (a) Geometry of the 2D-EFIT simulation model to identify the void size and the center-to-center distance of the voids. Snapshots of the velocity field at 8 µs in three different simulation models, (a) is 0.51 mm and is 3.59 mm, (b) is 2.74 mm and is 8.99 mm, and © is 3.54 mm and is 6.24 mm. Reprint with permission from K. Nakahata.

图 14. (a) 用于识别空洞大小和空洞之间中心到中心距离的二维电场仿真模型（2D-EFIT）的几何结构。在三种不同的仿真模型中，8微秒时的速度场快照，(a)为0.51毫米且为3.59毫米，(b)为2.74毫米且为8.99毫米，©为3.54毫米且为6.24毫米。经K. Nakahata许可转载。

Fig. 15. Example plots of augmented A-scans using methods of time-shifting and noise augmentation. (a + b) Time shift of ± 5 µs, ± 10 µs and original signal, (d) noise augmented signal with SNR = 5. Reprinted from Publication [110], with permission from Elsevier.

图 15. 使用时间移位和噪声增强方法增强A扫描的示例图。(a + b) 时间移位 ±5 微秒、±10 微秒和原始信号，(d) 信噪比为5的噪声增强信号。转载自出版物 [110]，经Elsevier许可。

Fig. 16. Examples of augmented B-scans visualized as images from the training set using the virtual defect method, from [20]. (a) Baseline B-scan image with local background noise, (b + c) Baseline image and virtual defect placed at two different positions. Images used are under the CC-BY-4.0 license as stated in Section 7.

图 16. 使用虚拟缺陷方法从训练集中将增强的B扫描可视化为图像的示例，来源于[20]。(a) 带有局部背景噪声的基线B扫描图像，(b + c) 基线图像和在两个不同位置放置的虚拟缺陷。所使用的图像根据第7节声明，遵循CC-BY-4.0许可。

Fig. 17. Examples from the training set of thermoelastic ultrasound waves images from [204]. Image DA methods such as rotation, flipping, scaling and translation were applied. Images used are under the CC-BY-4.0 license as stated in Section 7.

图 17. 来自[204]的训练集中热弹性超声波图像的示例。应用了图像数据增强（DA）方法，如旋转、翻转、缩放和平移。所使用的图像根据第7节声明，遵循CC-BY-4.0许可。

Fig. 18. Schematic of the proposed GAN architectures for data generation of UT B-scans. The proposed architectures DetectionGAN and SPADE-GAN differ in the generator model. Reprinted from [215] with permission from Elsevier.

图 18. 提出的用于超声B扫描数据生成的GAN架构示意图。提出的架构DetectionGAN和SPADE-GAN在生成器模型上有所不同。经Elsevier许可，转载自[215]。

Fig. 19. Measured and augmented B-scan images generated using GANs. (a) measured B-scan, (b) flawed B-scan generated using the virtual defect method, (b) image generated using DetectionGAN and (d) SPADE-GAN. Reprinted from [215] with permission from Elsevier.

图 19. 使用GANs生成的测量和增强B扫描图像。(a) 测量的B扫描，(b) 使用虚拟缺陷方法生成的有缺陷的B扫描，(b) 使用DetectionGAN生成的图像和(d) SPADE-GAN。经Elsevier许可，转载自[215]。

Fig. 20. Reprinted from [29] showing the Dataset collection: (a) experimental setup and defect detection method; (b) three different types, i.e. pinhole, crack, and corrosion and the nondestructive specimen in pipes; © detection signals for different defect types; (d) standardized results using absolute value normalization; (e) virtual defect method for data enhancement; (f) composition of the ultrasonic dd detection signal dataset. Images used are under the CC-BY-4.0 license as stated in Section 7.

图 20. 转载自[29]，展示数据集收集：(a) 实验设置和缺陷检测方法；(b) 三种不同类型，即针孔、裂纹和腐蚀，以及管道中的无损检测样品；© 不同缺陷类型的检测信号；(d) 使用绝对值归一化的标准化结果；(e) 虚拟缺陷方法用于数据增强；(f) 超声dd检测信号数据集的组成。所使用的图像根据第7节声明，遵循CC-BY-4.0许可。

Fig. 21. US-WGAN generated signals for different training epochs. Initial pulse was learned after approx 10 epochs. The reflection signal from the corrosion defect was learned after approx 3000 epochs (peak at approx 200 µs). Reprinted from [44]. Images used are under the CC-BY-4.0 license as stated in Section 7.

图 21. US-WGAN为不同训练周期生成的信号。在大约10个周期后学习到了初始脉冲。在大约3000个周期后学习到了来自腐蚀缺陷的反射信号（在大约200微秒处的峰值）。转载自[44]。所使用的图像根据第7节声明，遵循CC-BY-4.0许可。

Fig. 22. Graphical representation of reviewed literature in NDE using synthetic data generation or DA methods to build UT datasets for ML models. The height of the black vertical connection bars is proportional to the number of references. Abbreviations: Direct Transmission DT, Frequency-Response FR, Guided Waves GW, Phased Array Ultrasonic Transducer PAUT, Pitch-Catch PC, Pulse-Echo PE.

图 22. 使用合成数据生成或数据增强（DA）方法构建机器学习（ML）模型的超声（UT）数据集的无损评估（NDE）文献综述的图形表示。黑色垂直连接条的高度与参考文献数量成比例。缩写：直接传输 DT，频率响应 FR，引导波 GW，相控阵超声换能器 PAUT，发射-接收 PC，脉冲回波 PE。

Fig. 23. Graphical representation of the numerical and augmentation methods applied, as well as the model dimensionality of the reviewed literature on the topic. Abbreviations: Deep Convolutional Generative Adversarial Neural Network DCGAN, Elastodynamic Finite Integration Technique EFIT, Finite Element Method FEM, Boundary Integration Method BIM, Ray Methods, Spectral Finite Element Method SFEM, Time Shift TS, Data Augmentation DA.

图 23. 对所审查文献主题的数值和增强方法及模型维度的图形表示。缩写：深度卷积生成对抗神经网络 DCGAN，弹性动力学有限积分技术 EFIT，有限元方法 FEM，边界积分法 BIM，射线方法，谱有限元法 SFEM，时间移位 TS，数据增强 DA。

Fig. 24. Graphical representation of the ML methods used in combination with synthetic and augmented UT training data.

图 24. 与合成和增强UT训练数据结合使用的ML方法的图形表示