多尺度生成对抗网络下图像压缩感知重建

论文：曾春艳,严康,王志锋,王正辉.多尺度生成对抗网络下图像压缩感知重建[J/OL].吉林大学学报(工学版):1-8[2022-11-24].DOI:10.13229/j.cnki.jdxbgxb20211299.

仅用作学习笔记，方便日后查看

基于深度学习的压缩感知重建方法

Mousavi 等人首次将深度学习技术应用于压 缩感知图像重建。但由于该重建网络使用的是全连 接层，随着数据维度的不断增加，网络参数暴增， 导致计算复杂度极高。Kulkarni 等人[4]提出一种非 迭代图像重建网络(ReconNet)。该方法在重建网络 中采用卷积层代替了全连接层，利用卷积的权值共 享减少网络参数，从而降低计算复杂度。为提取更 加丰富的图像信息以进一步提高图像重建质量，Yao等人[5]提出深度残差重建网络(DR2-Net)。它在ReconNet 的基础上加入残差块来增加网络深度，通 过跳连接来减少信息的丢失，保护数据信息的完整 性，从而进一步提高图像重建质量。Lian 等人[6]在ReconNet和DR2-Net的基础上提出多尺度残差重构 网络(MSRNet)，通过多尺度感受野捕捉不同尺寸特 征，进而重构出高质量图像。由于深度学习缺乏可 解释性[7]，而传统压缩感知重建方法有良好的理论 保证，所以基于展开的算法[8]将传统压缩感知算法 的每一次迭代展开为一层神经网络。Zhang 等人[9]受传统迭代收缩阈值算法(ISTA)的启发提出了ISTA-Net，它将 ISTA 转换为深层网络形式用于图像 压缩感知重建，以加速计算并提高重建质量。由于 自然图像的残差具有更好的可压缩性，作者进一步 提出 ISTA-Net+来增强重建性能。

整体网络结构：

全卷积测量

 由于卷积神经网络可实现参数共享，且有效地 处理高维图像数据，因此本文采用全卷积神经网络， 而不是传统的测量矩阵来获得测量值。为避免分块 效应，本文直接从完整的输入图像中获得所有的测 量值，而不是将输入图像分成不重叠小块以减少计算量，其测量过程可表示为：

 多尺度生成网络

多尺度生 成网络主要由反卷积层、多尺度特征提取模块、注 意力机制模块、卷积层四部分组成。

（1）反卷积层初步重建

测量值作为多尺度 生成对抗网络的输入，数据维数远低于原始图像，因此首先需要完成维度提升，本文采用反卷积层来 提高数据维度，使其与原始图像维度相同。

(2)多尺度特征提取

为了生成高质量的重建图 像，在反卷积提升数据维度后需要提取图像中更多 细节信息。本文设计了三个并行卷积通道，每个卷 积通道使用不同感受野的卷积核来提取图像的不同 尺度特征信息，再将三个通道包含的各种尺度信息融合在一起，得到更加丰富的图像信息。每个卷积 通道还使用了残差块，通过残差块中的短跳连接来 减少信息在传递过程中的丢失，保护了数据信息的 完整性。为减少多尺度带来的参数量增长，本文采 用扩张卷积来增大感受野，同时保持卷积核参数量 不变。

（3）注意力机制增强有用特征

为了使网 络更加专注于重要的信息功能，加入了通道注意力 机制模块，它可以自适应缩放每个特征谱来增强相 关特征信息，抑制不相关信息，从而得到缩放后的 深度多尺度特征信息。注意力机制模 块通过压缩 Fsq ( ) 和激励 F W ex ( , ) 两个步骤求取特 征信道融合的权值，然后根据该权值将输入特征自 适应缩放。具体地，输入特征可以表示为 C 个大小 为 H W 特征谱 ，接下来进行一 个全局平均池化操作，将每个二维特征通道转换为 一个实数，压缩后的一维特征表示该特征通道上的 全局分布。表达式如下：

然后利用激励运算从压缩后的一维特征中获得 相关性。表达式如下:

其中 f () 表示为 sigmoid 函数， detail () 则表示 ReLU 激活函数。为了提高模型的泛化程度，对一维特征 分别进行了下采样和上采样操作， WU 和 WD 表示一维特征的权值， s 表示得到的一维特征，作为特征 信道融合的权值。最后特征可以根据信道权值自适应缩放。表达 式如下:

 

 其中 c s 和 c x 为第 c 个特征谱的尺度因子。在注意力 模块中，每个特征谱都可以自适应的缩放，因此每 个特征谱都可以获得需要重点关注的目标区域。

(4)卷积层完成图像重建

最后将缩放后的深 度多尺度特征信息输入两个卷积层，得到最终生成 图像。

判别器

采用 SRGAN[16]网络作为判别网络，其结 构如图 4 所示。通过前述多尺度生成网络得到重建 图像后，本文将重建图像与真实图像输入到判别网 络中。该网络首先级联了八层卷积层，除第一个卷 积 层 外 每 个 卷 积 层 采 用 了 批 标 准 化 (Batch Normalization，BN)。然后将卷积后输出的信息输入 到两个密集层进行重新拟合，从而减少图像中的特 征信息损失，根据特征组合将其进行分类。最后采 用 Sigmoid 进行分类，判断输出是真实图像还是生 成的重建图像。

使用 Adam[17]来优化网络的参数。 最大迭代次数设置为 100，前 50 次的学习率设置为 0.001，第 51 到 80 次的学习率设置为 0.0001，第 81 到 100 次的学习率设置为 0.00001。采用 Pytorch 框 架在 i7CPU 搭载 GT-1080Ti 显卡的主机上完成网络 训 练

为验证生成网络中多尺度模块的有效性，本文 设置了在不含注意力机制，不采用残差短跳连接的 情况下，三种尺度（单通道，双通道，三通道）重 建效果在 PSNR 和 SSIM 指标下的对比，且选取了 Set5 和 Set14 这两个数据集作为验证集，实验结果 如表 3 所示。