论文阅读|A Bearing Fault Diagnosis Model Based on Deformable Atrous Convolution and Squeeze-and-Excitati
题目：《A Bearing Fault Diagnosis Model Based on
Deformable Atrous Convolution and
Squeeze-and-Excitation Aggregation》
基于可变形空洞卷积和挤压激励聚合的轴承故障诊断模型
期刊：IEEE Transactions on Instrumentation and Measurement
时间：2021
Doi：10.1109/TIM.2021.3109721
地址：https://ieeexplore.ieee.org/document/9527206，单击这里
摘要
故障诊断直接影响现代机械行业的经济。目前故障诊断方法的输入大多是原始振动信号或者通过短时傅里叶变换得到的时频图（time-frequency graph, TFG）。上述两种输入方法都使用量许多数据点，这降低了故障诊断的实时性能。因此，提出了一种新的故障诊断模型，当输入数据点较少时实现高精度。首先，模型的两个输入是通过快速傅里叶变换和连续小波变换得到的频域信号（frequency-domain signal, FDS）和TFG。然后，分别使用卷积（Conv）和可变形卷积（deformable atrous Conv）提取FDS和TFG特征。接着通过压缩和激发聚合去融合这些特征。最后，获得三个不同维度的输出。实验结果表明，所提的特征提取和融合模块可以提高故障诊断模型的通用性，与现有技术相比，该模型在上面的输出上有更好的效果。
1. 引言
机械故障检测技术是一种新的发展趋势。智能诊断意味着可以有效地收集和分析大量数据，并自动提供可靠的诊断结果。
深度学习的方法已被广泛应用于故障诊断，但存在相关不足：
- 通过短时傅里叶变换（shoty-time Fourier transform, STFT）获得的原始信号或者TFG作为模型的输入时，通常需要超过1000数据点，这会降低故障诊断模型的实时性能。
- 只有一个信号特征被用做故障诊断模型的输入，这难以满足复杂工业环境的要求。
- TFGs不同于普通图像，传统的卷积（Conv）方法没有针对性。
- 对于不同维度（尺寸）的故障，只有一个输出。
基础：MIMTNet
Y . Wang, M. Y ang, Y . Li, Z. Xu, J. Wang, and X. Fang, “A multi-input and multi-task convolutional neural network for fault diagnosis based on bearing vibration signal,” IEEE Sensors J., vol. 21, no. 9,pp. 10946–10956, May 2021.
本文托提的框架：通过快速傅里叶变换（fast Fourier transofrm, FFT）和连续小波变换（continuous wavelet transform, CWT）来处理256个数据点，获得两个输入，即频域信号（frequency-domain signal, FDS）和TFG。FDS的总体频率特征和TFG在不同时间的频率的组合可以弥补单个信号特征的不足。为了进一步提高模型的通用性，提出了一种新的特征融合方法。此外，还提出了一种新的特征提取方法，该特征提取方法比传统方法具有横好的特征提取效果。最后，根据故障诊断结果的维度，将模型的输出分为3个任务。本文的贡献如下：
- 提出了一种结合可变形卷积（deformable Conv, DC）和AConv的特征提取模块。与其他特征提取模块相比，该模块可以获得更好的TFG提取结果。
- 以SE（squeeze-and-excitation）模块为灵感，提出了一种融合模块，通过不同分支之间的互连，与传统的模型相比，具有更好的效果。
- 提出了一种轴承故障诊断模型DASENet，该模型可以结合不同维度的信号特征和不同级别的处理任务。与其他方法相比，该模型具有更好的通用性（泛化能力）。此外，还详细讨论及简历了一系列对比实验来研究损失函数的权重系数对不同任务的实验结果的影响。
2. 方法
2.1 原始数据的处理
分别使用FFT和CWT对原始数据进行处理，得到所提模型的两个输入。
2.2 Deformable Atrous Convolution
2.3 Squeezing-and-Excitation Aggregation
首先将TFG分支和FDS分支的特征同时输入到模块中。两个分支的主要特征和系数是通过FC层和SE模块获得。接着，将两个分支的主要特征与其他分支的系数相乘，通过这种方式，增强了故障特征，并抑制噪声，以此实现更好的特征融合效果。
2.4 DSAENet
模型框架图：
参数：
3. 实验结果和分析
3.1 细节
介绍了CWRU数据集。
数据集的具体如表2所示。
DASENet训练过程如表3所示（伪代码）。
解释了为什么任务3是回归而不是分类的原因：
- 分类是一项定性任务，它的结果是一些决策层面？，用于对数据集中的样本进行分类。相反，回归任务是一项定量任务，其结果是一条最优拟合线，可以最接近数据集中的每个样本。而且，CWRU数据集的标签对于损伤大小是离散的，但其性质仍然是一个定量问题。
- 通过划分回归结果区间，可以将回归任务转换成分类任务，这比分类更准确。
- 由于分类任务仅通过一些决策层划分数据，如果损伤大小在两个损伤程度中间，则分类模型会有很大的误差。
3.2 特征提取方法的影响
通过CWT获得的TFG不同于普通图像，它不同于传统的图像识别任务。因此，MIMTNet中使用的Conv、SAE、dc、AConc、AGM和所提的DAC这6种方法分别训练TFG分支，实验结果如表4所示。SAE在两个数据集上的指标都优于Conv，但是SAE存在密集连接，它的参数远多于Conv。AMG和DAC的组成单元都包含AConv，这表明AConv在TFG中的特征提取具有潜力。在B数据集中，AGM有两个指标比DAC更好，出现这种现象的原因可能是B数据集中像素提取的难度较小，并且有足够的AConv。然而，AGM和DCA在任务1和任务3上的差异分别只有0.01%和0.01，DAC在其他指标上有更好的结果。因此，DAC在提取故障特征方面具有更明显的优势。
3.3 特征融合方法的有效性
为了进一步提高故障诊断效果，作者使用DAC的TFG分支和使用Conv的FDS分支进行融合。但是，不同的特征融合方法对模型的故障诊断结果有很大的影响。因此，作者使用MIMTNet中使用的Add、concatenate、TAG和所提的SEA进行对比实验。实验结果如表5所示。与表4中的相比，特征融合后的实验结果要优于仅使用TFG的情况。因此，特征融合是轴承故障诊断的一种有效方法。与ADD相比，TGA和SEA都有更好的效果，总体精度提高，误差均值的降低相对较小，但是误差总和大大减少，并且对于大量样本，分类正确的样本要大得多。SEA模型的复杂度要高于ADD方法，但是所提模型对于每个分支只有5个特征提取层，并且参数少。
在实际情况中，比CWRU数据集更多的数据将会输入到故障诊断模型中，因此提高模型精度可以更好地监测电机系统的工作状态。在B数据集中，TGA在任务1中要优于SEA。出现这种现象的原因可能是B数据集中的任务1更简单，损失值更小，并且SEA中的SE模块更关注其他两个任务所需的功能。
3.4 SEA结构合理性的验证
为验证作者设计的融合模块的合理性，并探讨不同连接对SEA的影响，通过添加2个Shotrcut或密集连接获得三种SEA变体，如图5所示。相关实验结果如表6所示，这三种变体的实验结果都比SEA差。通过添加其他连接，模型的FC层将接收过多的低阶特征，这将导致故障诊断模型的过拟合。因此，SEA的结构设计是有效的。
3.5 权重系数选择
在损失函数中选择权重系数是多输出模型的重要步骤。增加任务2和任务3的权重系数可以增加网络对它们的关注。相反，降低任务2和任务3的权重系数可以防止它们抵制任务1。相关实验结果如表7所示。当λ2和λ3太小时，模型的其他两个输出将受到输出1的限制，最终结果不稳定。而且，当λ2和λ3太大时，输出1很难为其他两个输出提供一定的指导，并且很难进一步拟合数据。
当λ2=0.5和λ=0.1时，三个输出形成相对平衡的关系，所提出模型达到了最佳效果。
为什么是0.5和0.1，从什么地方得到的。
直接通过实验结果？
3.6 可视化和讨论
利用t-SNE将融合前后的特征简化至二维并可视化，如图6所示。
所提出的模型需要同时完成三项任务，并且在同一故障类型中存在不同的损伤大小。由于估计损伤大小的任务是一个回归任务，因此在图6中没有区分。
为了显示任务3的结果分布，不同允许误差下的精度如图8所示。
3.7 与其他故障诊断模型的比较
与SVM、FTNN、TCNN、ResNet、MIMTNet进行比较。
比较相关模型在MFPT数据集上的性能。
4. 结论
作者提出一种基于DAC和SEA的故障诊断模型来提高故障诊断的实时性能。该模型由两个输入：FDS和TFG。这两个输入的组合可以为模型提供多维特征。与现有方法相比，所提的DAC在TFG特征提取上有更好的效果，所提的SEA可以进一步提高模型的通用性（泛化能力）。该模型的输出根据故障的维度可以分为3个任务。通过一系列的实验证明了模型和模块的优越性。与其他方法相比，该模型在CWRU数据检索具有横好的性能。但是，CWRU数据集的故障是人为的，所以并不能反映该模型在实际损伤情况下的性能是最好的。未来，作者将深入迁移学习领域，研究该模型的有效迁移方法，并在人工故障数据集上训练后，探索该模型对真实故障数据集的影响。
说在最后
本人是小白，仅此分享相关学习文献，若有冒犯，请与我联系，不胜感激。
由于本人对该方向认知有限，若有错误，还请不吝指教。
仅此分享我的学习记录。