深度残差收缩网络:(一)背景知识

深度残差收缩网络(Deep Residual Shrinkage Network)是深度残差网络(Deep Residual Learning, ResNet)的一种改进,发表在IEEE Transactions on Industrial Informatics上,面向的是数据包含噪声的情况。

简单地讲,深度残差收缩网络就是,将软阈值化作为可训练的模块,嵌入到ResNet之中。接下来结合自己的理解,解读一下相关的背景知识。

(1)噪声的含义

如上所述,深度残差收缩网络面向的是数据包含噪声的情况。事实上,这里的“噪声”,可以有更宽泛的解释。“噪声”不仅可以指数据获取过程中所掺杂的噪声,而且可以指“与当前任务无关的信息”。

比如说,我们在训练一个猫狗分类器的时候,如果图像中存在老鼠,那么老鼠就可以理解为一种噪声。

猫和老鼠

或者说,在故障诊断领域,对于一个复杂的机械系统,可能存在很多个激振源。许多个轴、轴承、齿轮和联轴器等的旋转或啮合都可能会激发振动。这些振动成分都混杂在所采集的振动信号中。如果我们的目的是检测某一零件(比如某一个齿轮)是否发生故障,则其他零件所激发的振动,在一定程度上,都可以理解为噪声。

从这个角度来讲的话,深度残差收缩网络可能有着更宽广的应用场景。

(2)软阈值化(soft thresholding)

软阈值化是信号降噪里一个非常常见的概念,它指的是将一段信号的值,朝着“零”的方向进行收缩。比如,在下面的这张图片里,横轴x表示输入,纵轴y表示输出。那么,相较于输入信号,输出信号就朝着“零”发生了收缩。

软阈值化

这种降噪方式有一个前提。那就是,接近于零的部分是噪声,或者说,是不重要的,可以被剔除掉。然而,事实上,对于很多信号,接近于零的部分,可能包含着许多有用的信息,不能直接被剔除掉。所以,现在通常不会直接对原始信号进行软阈值化处理。

针对上面这个问题,传统的思路是将原始信号进行某种变换,将原始信号转换成其他形式的表征。理想情况下,在这种转换后的表征里,接近于零的部分,是无用的噪声。在这个时候,再采用软阈值化对转换后的表征进行处理。最后,将软阈值化处理之后的表征,重构回去,获得降噪后的信号。

举个例子,小波分析经常作为信号的变换方法。一种经典的小波降噪流程是“小波分解→软阈值化→小波重构”。通过这种方式,就可以实现信号的降噪。

然而,这种信号降噪方式有一些悬而未决的问题。首先,在小波分析中,如何构建最适合当前信号的小波函数,或者说滤波器、局部滤波算子,一直是一个很困难的问题。换句话说,在小波分解之后,可以获得一个信号表征(一组小波系数);在这个信号表征里面,接近于零的部分,未必就是噪声,可能还包含着许多有用的信息;对这个表征进行软阈值化,可能会将有用信息给一并删除了。其次,如何设置软阈值化的阈值,也是一个很困难的问题。

(3)深度残差学习(ResNet)

相较于传统的小波分析,深度学习算法(尤其是卷积神经网络)可以自动地学习所需要的滤波器,在一定程度上解决了构建合适滤波器的问题。深度残差网络ResNet是一种改进的卷积神经网络,通过引入跨层连接,降低了模型训练的难度,见下图:

残差模块

在跨层连接的作用下,网络参数的训练难度大幅降低,从而更容易训练出效果很好的深度学习模型,因此ResNet成为了一种非常知名的方法。深度残差收缩网络就是ResNet的一种改进。

到这里就介绍了一些相关的背景知识,后续再介绍深度残差收缩网络的细节。


转载网址:

深度残差收缩网络:(一)背景知识 https://www.cnblogs.com/yc-9527/p/11598844.html

深度残差收缩网络:(二)整体思路 https://www.cnblogs.com/yc-9527/p/11601322.html

深度残差收缩网络:(三)网络结构 https://www.cnblogs.com/yc-9527/p/11603320.html

深度残差收缩网络:(四)注意力机制下的阈值设置 https://www.cnblogs.com/yc-9527/p/11604082.html

深度残差收缩网络:(五)实验验证 https://www.cnblogs.com/yc-9527/p/11610073.html

深度残差收缩网络:(六)代码实现 https://www.cnblogs.com/yc-9527/p/12091581.html

原文链接:

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096

你可能感兴趣的:(深度残差收缩网络:(一)背景知识)