Optimizing the quality of Fourier single-pixel imaging via generative adversarial network

论文：Hu Y, Cheng Z, Fan X, et al. Optimizing the quality of Fourier single-pixel imaging via generative adversarial network[J]. Optik, 2021, 227: 166060.

仅用作学习笔记，方便日后查看

傅里叶单像素成像(FSI)通常通过欠采样来提高成像速度;然而，通过频率截断得到的重建图像由于缺乏高频部分，丢失了很多细节，且由于缺乏表达能力，图像中含有振铃伪影，从而降低了图像质量。为了提高实时成像质量，提出了一种基于Wasserstein生成对抗网络(WGAN)和梯度惩罚(GP)的快速图像重建框架。在阻力损失和内容损失的共同约束下，首先在框架中的生成器与鉴别器之间进行对抗训练，然后在生成对抗网络的基础上，再连接一个额外的生成器，以提高重建图像的保真度。该模型可以用于恢复高频细节和去噪低质量的图像采样不足。仿真和实验结果表明，在低采样率的情况下，采用GAN方法的FSI在压缩率为95 ~ 98%的情况下，图像质量优于常规成像;因此，所提出的方案具有潜在的实际应用价值。

傅里叶单像素成像(FSI)是基扫描策略中应用最为广泛的一种。近年来，该技术在一些领域取得了进展，如不可见光谱成像[11]、3D成像[12,13]、动态成像[14]、转角成像[15]等。与基于基扫描策略的Hadamard单像素成像(HSI)相比，FSI和GI都是理想的SPI技术。由于自然图像在傅里叶域的能量比在阿达玛域的能量更集中，FSI已经被证明比HIS具有更高的效率。

考虑到传统的FSI方法在欠采样条件下受噪声影响大，成像质量低的问题，我们受到了SRGAN的启发，它可以通过训练良好的模型，以退化图像为输入，完成图像细节恢复，提高图像清晰度。我们提出了一种特殊设计的级联结构网络。建立了基于网络损失函数的训练策略，将FSI在低采样率下获得的模糊图像输入到网络中。因此，我们可以消除伪影和重建细节。

提出了一种基于残差网络的图像优化方法。具有对称跳过连接的网络以端到端方式学习欠采样图像与地面真值之间的映射关系。利用深度神经网络强大的特征学习和表达能力，在均方误差(MSE)和感知损失与对抗损失相结合的约束下，采用联合鉴别器训练图像重建网络。本文对所提出的框架进行了精心优化，采用带有梯度惩罚[24]的Wasserstein GAN (WGAN-GP)的损失来替代传统GAN的损失，以稳定训练过程

FSI（傅里叶单像素）概括来说就是在傅里叶域采样，再快速傅里叶反变换初步重建

FSI是基于傅里叶变换的;它利用傅立叶基模式进行照明，通过求解傅立叶系数得到图像的频谱，然后通过快速傅立叶反变换(IFFT)对图像进行重建。为了获得傅立叶系数，将傅立叶基图(也称为正弦结构光图)投影到目标上，用无空间分辨率的探测器测量目标与傅立叶基图的内积，然后通过相移方法组装每个傅立叶系数。利用表达式生成二维傅里叶基投影图

 其中(x, y)为场景中的二维笛卡尔坐标，(fx, fy)为空间频率，a为DC分量，b为对比度，其中φ为初始相位。从目标景物产生的反射光强度可由:

其中Ω为场景区域，r为目标物体在场景中的反射率分布。由于环境光波动，探测器的总响应应为(3): 

 其中k取决于探测器的大小，Tn表示探测器响应的环境光。四步FSI和三步FSI都是FSI的选择。虽然4步FSI比3步FSI对噪声的鲁棒性稍好，但后者节省了25%的测量时间。因此，3步FSI是实时应用的较好选择。此外，GAN还可以增强鲁棒性。三步FSI允许在相位△φ(即0、2π/3和4π/3)固定的情况下，从每三个对应的照明模式中获取每一个复值傅里叶系数。每一个复傅里叶系数F (fx, fy)可得为

其中r *表示随后输入GAN模型的采样不足的重建图像，n表示重建中的噪声。由于r *中缺乏高频系数，出现了振铃假象和模糊现象。为了重建高质量的图像，将采样不足的重建信息传递给GAN模型以提高清晰度并去除伪影 

GAN based SPI

本文提出的具有伪影消除功能的GAN网络是基于WGAN-GP的。由于GAN在进行图像增强时容易失去保真度以达到更好的视觉效果，因此在GAN网络之后添加了与发生器结构相同的级联网络。这种级联网络用于接收视觉效果良好但缺乏上级GAN网络生成的保真度的图像，并输出高保真度的图像。

 我们不是简单地依赖于MSE，而是将损失函数定义为MSE损失和对抗损失的加权和，从而避免了过度平滑的问题。在二级网络中，MSE损耗被用来维持图像的保真度。GAN和二次网络（后面的G）的损失函数表达式分别如式(9)和式(10)所示。

结果：

本文在极端欠采样条件下采用了频率截断采样。

 

此外，通过训练，AEGAN可以学习辨别图像中伪物与真实细节的能力，抑制伪物并细化细节。从图中可以看出，FI GAN-FSI可以有效地抑制振铃假象。即使在FSI10 %的情况下，也会出现明显的环状物，这使得在放大图像中很难区分鹿角的形状。GAN-FSI2%可以去除不需要的伪影，生成轮廓，但重建图像模糊。GAN-FSI3%和4%可以重建出更清晰、细节满意的图像，后者效果更好。因此，考虑到时间成本，可以将GAN-FSI4%作为可靠性下限的重构。

 

噪声是重建过程中不可忽视的重要因素。在FSI实验中，环境光噪声、采集卡电流噪声、光源功率不稳定等噪声都会影响图像质量。输入图像不是严格按照退化模型得到的。由于FSI重构是通过逆过程实现的，为了验证网络的抗噪能力，可以在频域应用噪声来模拟干扰因子，对应式(5)中的n。信噪比分别为10、15、20、25，分别代表四个噪声级。信噪比越高，频域中的扰动越小，输入网络的图像质量越高。结果如图8所示。在噪声干扰下，FSI结果中存在更严重的伪影，如墙和图片中的人脸，当信噪比= 10时，这些伪影更加明显。此外，GAN-FSI可以有效地去除重构图像中的伪影，使图像更加清晰。定量和定性分析表明，GAN- fsi结果的质量在四个噪声级之间变化不大，表明GAN网络可以抵抗至少信噪比= 10的噪声扰动。

为了与卷积神经网络(CNN)进行比较，说明AEGAN结构的合理性，我们去掉了AEGAN中的鉴别器，得到了一个CNN模型。在此网络的基础上，输入采样率为4%的FSI图像进行训练，并与GAN-FSI 4%的图像进行比较。以BSDS500为测试集，得到的平均SSIM和PSNR分别为0.62和22.65，略低于GAN-FSI 4% (SSIM = 0.64, PSNR = 22.82)。结果是由于两种方法之间的网络过于相似造成的。两种方法的输出图像差异不明显。但是，CNN在纹理和细节方面稍显不足，甚至会产生如图10所示的伪影。

从整体上看，似乎很难看出两者的区别，但当局部细节放大时，情况就不一样了。蓝框中的图像表示整体图像的局部细节(右边的图片)。为了更清晰地观察纹理，将局部图像的灰度参照棕色框中的图像进行反转。在CNN4%的重建下，女性的嘴唇在右上角明显缺失，GAN-FSI4%忠实地描绘了嘴唇的轮廓。在锯齿状珊瑚的细节中，在CNN4%的重建下，锯齿状珊瑚被模糊化，但GAN-FSI4%捕捉了锯齿状的形状，并画出了近似的细节和数字。在CNN4%的重建下，男性格纹衬衫的领口条纹也缺失，而GAN-FSI4%生成了逼真的条纹。CNN重建过程中除了细节生成效率略低外，还容易出现不自然的人工现象，如图像蝴蝶。虽然CNN4%可以正确生成翅膀的纹理，但它有点不自然，有伪影。

在实验中，我们使用了一个三维物体作为实验目标。实验结果如图12所示。图12显示了GAN-FSI和FSI在采样率为2%、3%、4%、5%时的比较，包括了fsi10%的附加结果。重构结果表明，在不足采样的FSI图像中总是存在环形伪影。甚至10%的FSI10也会产生一些伪影。FSI以较高的测量成本为代价消除了假象，在极端欠采样(FSI2%)的情况下，假象最为明显。随着采样率的增加，FSI重建结果的质量有所提高，但提高水平有限;在2%的情况下，GAN-FSI可以有效去除伪影。在3% - 5%的采样率下，GAN-FSI能清晰、准确地重建图像。此外，GAN-FSI在图像质量评价指标(SSIM和PSNR)上优于FSI。