深度残差收缩网络 Deep Residual Shrinkage Networks

自从2015年ResNet出现以来，残差模块和类似的思想几乎应用于深度学习的各个领域。当然也出现各种改进的版本，残差收缩网络就是其中一种。

标准的残差模块主要有以下三种，因为这篇论文是在一维的信号数据上做实验，所以没有H的维度，或者说H的维度大小为1。

上图中$(a)$是输入和输出特征图的Width和Channel大小不变的情况；图$(b)$是输出特征的Width大小是输入特征一半的情况；图$(c)$是输出特征的Width是输入特征的一半，Channel是输入特征的两倍。

这些模块堆叠起来，再和其他的卷积和FC等操作层结合，就构成一个基本的分类ResNet网络。

残差收缩网络提出的主要原因是：输入的数据往往包含一些不必要的噪声，这些噪声会影响卷积网络的特征提取和性能结果。噪声在残差网络中特征信息幅值通常比较小，在0的附近，所以在残差收缩网络中提出了一种软阈值化的思想，将特征值在0附近一定范围的值设成0，将大于该范围的值重新收缩到0附近。

软阈值公式如下所示：
$$f(x)=\{\begin{array}{lr}x-\tau & x>\tau \\ 0& -\tau \le x\le \tau \\ x+\tau & x<-\tau \end{array}$$

软阈值的导数公式为：
$$\frac{\partial y}{\partial x}=\{\begin{array}{lr}1& x>\tau \\ 0& -\tau \le x\le \tau \\ 1& x<-\tau \end{array}$$

阈值函数和求导函数用坐标图像可表示为：

那么如何在残差模块中加上阈值化操作，作者提出了两种针对残差模块的改进方案，改进后的结构图如下面两张图所示：

DRSN-CS，特征图统一软阈值化

DRSN-CW，特征图按Channel维度分别软阈值化

上面两张图都是对残差模块的特征信息进行软阈值化处理，结构设计大同小异，都是先在Channel维度上进行绝对值的Global Average Pooling，形成$C\times 1\times 1$维的特征，然后特征分别通过两条路径，一条是经过FC-BN-ReLU-FC之后Sigmoid，另一条是直接连接，两条路径的信息按照Channel-wise对应相乘后形成阈值向量，对原本的特征信息进行阈值化处理。

不同的是DRSN-CS是对残差块的特征信息统一做软阈值化，是一个$1\times 1\times 1$的阈值；DRSN-CW是对残差块的特征信息按照Channel维度软阈值化，是一个$C\times 1\times 1$的阈值向量。

接着就是实验的验证，作者选取了普通的卷积网络ConvNet、残差网络ResNet以及上面两种收缩网络DRSN-CS和DRSN-CW作为对比，分别在高斯噪声、拉普拉斯噪声和粉红噪声的作用下进行实验，得到如下结果：

高斯噪声

拉普拉斯噪声

粉红噪声

从上面三种实验可以看出，对三种噪声的抑制效果排名是：DRSN-CW > DRSN-CS > ResNet > ConvNet，充分说明深度残差收缩网络抗噪声的效果比普通残差网络更好。在噪声越大的数据中，这种效果越明显。
另外，我们还可以从特征信息的角度来看深度残差收缩网络的作用。下面这张图是上面四个网络中每层特征信息降维到二维之后的显示效果。

从图中可以看出ConvNet$(a)$和ResNet$(b)$每层网络特征之间互相渗透的现象很明显，说明由于噪声的作用，导致每层卷积出来的特征信息区分得不明显，提取得不是很好。而DSNR网络$(c)$$(d)$中，每层特征向量区分得很明显，因为阈值化消除了一部分噪声信息，干扰更小了，每一层提取到的是不同的特征信息，尤其是在DSNR-CW$(d)$中，不同层之间特征有非常明显的界限和间隔区间，这种泾渭分明的特征信息提高了最后结果输出的准确性。