CVPR2023 Deblur论文整理

Paper list 来自 https://github.com/DarrenPan/Awesome-CVPR2023-Low-Level-Vision#image-deblurring
简单用GPT翻译一下摘要

1 Structured Kernel Estimation for Photon-Limited Deconvolution

Paper: Structured Kernel Estimation for Photon-Limited Deconvolution
Code: https://github.com/sanghviyashiitb/structured-kernel-cvpr23

在低光照条件下拍摄的图像，存在相机抖动和光子噪声，会导致运动模糊和图像质量下降。虽然最先进的图像恢复网络显示出了很好的结果，但它们在光子噪声强烈的情况下性能会显著下降，且很大程度上局限于充足照明的场景。
本文提出了一种新的模糊估计技术，针对光子受限条件进行了定制。所提出的方法采用基于梯度的反向传播方法来估计模糊核。通过使用运动轨迹上的关键点对模糊核进行低维表示，我们显著减少了搜索空间，并改善了核估计问题的规则性。当插入迭代框架时，我们的新型低维表示提供了改进的核估计，因此与端到端训练的神经网络相比，提供了显著更好的去卷积性能。

2 Blur Interpolation Transformer for Real-World Motion from Blur

Paper: Blur Interpolation Transformer for Real-World Motion from Blur
Code: https://github.com/zzh-tech/BiT

本文研究了从模糊中恢复运动的难题，也称为联合去模糊和插值或模糊时序超分辨率。挑战在于：1）当前的方法即使在合成数据集上也仍有相当大的提升空间；2）对真实世界数据的泛化能力较差。为此，我们提出了一种模糊插值变换器（blur interpolation transformer，BiT），以有效地展开模糊中编码的潜在时间相关性。基于多尺度残差 Swin 变换块，我们引入了双端时序监督（dual-end temporal supervision）和时间对称集成（temporally symmetric ensembling）策略，以生成用于时变运动渲染的有效特征。此外，我们设计了一种混合相机系统，用于收集第一个真实世界的一对多模糊-清晰视频数据集。实验结果表明，BiT 在公共数据集 Adobe240 上比最先进的方法有显著提升。此外，所提出的真实世界数据集有效地帮助模型在真实模糊场景中具有良好的泛化能力。

3 Neumann Network with Recursive Kernels for Single Image Defocus Deblurring

Paper: https://openaccess.thecvf.com/content/CVPR2023/html/Quan_Neumann_Network_With_Recursive_Kernels_for_Single_Image_Defocus_Deblurring_CVPR_2023_paper.html
Code: https://github.com/csZcWu/NRKNet

单幅图像的虚焦去模糊（Single Image Defocus Deblurring，SIDD）是指从虚焦模糊的图像中恢复出一个全焦点的图像。由于虚焦模糊的效果在空间上存在显著的大小变化，因此这是一个具有挑战性的恢复任务。受到不同尺寸的虚焦核之间的强相关性和虚焦核的斑点结构的启发，我们提出了一个可学习的递归核表示（RKR）来表示虚焦核，通过递归、可分离和正原子核（recursive, separable and positive atom kernels）的线性组合来表达虚焦核，从而得到了一种紧凑而有效的物理编码参数化的空间变化虚焦模糊过程。随后，我们提出了一种物理驱动和高效的深度模型，采用跨尺度融合结构，用于 SIDD。同时，我们从截断的 Neumann 级数中获取灵感，以近似基于 RKR 的模糊运算符的矩阵求逆。此外，我们提出了一种重新模糊损失（reblurring loss ），以规范化 RKR 的学习。大量实验结果表明，我们提出的方法明显优于现有方法，并且与顶尖方法的模型大小相当。

4 Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring

Paper: https://arxiv.org/abs/2211.12250
Code: https://github.com/kkkls/FFTformer

我们提出了一种有效和高效的方法，探索Transformers 在频域中的特性，用于高质量图像去模糊。我们的方法受卷积定理的启发，即在空间域中两个信号的相关性或卷积等价于在频域中它们的逐元素乘积。这启发我们开发了一种高效的基于频域的自注意力求解器（frequency domain-based self-attention solver，FSAS），通过逐元素乘积操作而不是在空间域中的矩阵乘法来估计缩放点积注意力。此外，我们注意到，在Transformers中简单地使用朴素的前馈网络（FFN）不能生成良好的去模糊结果。为了克服这个问题，我们提出了一种简单而有效的基于频域的判别性 FFN（DFFN），其中我们引入了一种基于JPEG压缩算法的门控机制，在 FFN 中判别性地确定应该保留哪些特征的低频和高频信息，以进行潜在清晰图像的恢复。我们将提出的 FSAS 和 DFFN 公式化为一种基于编码器和解码器架构的不对称网络，其中 FSAS 仅在解码器模块中用于更好的图像去模糊。实验结果表明，所提出的方法与最先进的方法相比表现优异。

5 Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur

Paper: Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur
Code: https://github.com/CVMI-Lab/HybridNeuralRendering

渲染新视角图像对许多应用非常重要。尽管近年来取得了进展，但从野外图像（in-the-wild）中渲染大规模场景的高保真度和视角一致性的新视角仍然具有挑战性，并带有不可避免的伪影（例如运动模糊）。为此，我们开发了一种混合神经渲染模型，将基于图像的表示和神经三维表示相结合，以呈现高质量、视角一致的图像。此外，野外拍摄的图像不可避免地包含伪影，例如运动模糊，这会降低渲染图像的质量。因此，我们提出了模拟模糊效果的策略，以减轻模糊图像的负面影响，并根据预先计算的质量权重在训练期间降低它们的重要性。对真实和合成数据的大量实验表明，我们的模型超越了点云方法在新视角合成方面的现有技术。

6 Self-Supervised Non-Uniform Kernel Estimation With Flow-Based Motion Prior for Blind Image Deblurring

Paper: CVPR 2023 Open Access Repository
Code: https://github.com/Fangzhenxuan/UFPDeblur
Tag: Self-Supervised

很多基于深度学习的盲图像去模糊解决方案是通过估计模糊表示并从模糊观测中重建目标图像来实现的。然而，在实际应用中，这些方法的性能会严重降低，因为它们忽略了有关运动模糊的重要先验信息（例如，实际运动模糊具有多样性和空间变化性）。一些方法已经尝试使用 CNNs 显式地估计非均匀模糊核，但由于缺乏关于实际图像中空间变化的模糊核的真实值，因此准确的估计仍然具有挑战性。为了解决这些问题，我们提出了一种通过规范化流来表示运动模糊核场的潜在空间，并设计了 CNNs 来预测潜在编码而不是运动核的方法。为了进一步提高非均匀核估计的准确性和鲁棒性，我们将不确定性学习引入到估计潜在编码的过程中，并提出了一个多尺度核注意力模块，以更好地将图像特征与估计的核结合起来。大量的实验结果，特别是在真实世界的模糊数据集上，证明了我们的方法在主观和客观质量以及非均匀图像去模糊的优秀泛化性能方面均取得了最先进的结果。

7 Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior

Paper: Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior
Code: https://github.com/xl-tang01/UAUDeblur
Tags: Unsupervised

非盲去模糊方法在准确的模糊核假设下可以获得不错的性能。由于实践中不可避免地存在模糊核不确定性（即模糊核误差），因此建议使用半盲去模糊方法通过引入模糊核（或诱导）误差的先验来处理它。然而，如何为模糊核（或诱导）误差设计合适的先验仍然具有挑战性。手工制作的先验通常结合领域知识表现良好，但在模糊核（或诱导）误差复杂时可能导致性能下降。数据驱动的先验过度依赖于训练数据的多样性和丰富性，容易受到分布之外的模糊和图像的影响。为了解决这个挑战，我们提出了一种基于深度残差先验的无数据集先验，用一个未经训练的定制深度神经网络表示诱导误差（称为残差），使我们可以灵活地适应实际场景中的不同模糊和图像。通过有机地整合深度先验和手工制作的先验的优势，我们提出了一种无监督的半盲去模糊模型，可以从模糊图像和不准确的模糊核中恢复清晰图像。为了解决该模型，我们开发了一个高效的交替最小化算法。大量实验证明，与基于模型和基于数据的方法相比，所提出的方法在图像质量和对不同类型的模糊核误差的鲁棒性方面表现出了优异的性能。

8 K3DN: Disparity-Aware Kernel Estimation for Dual-Pixel Defocus Deblurring

Paper: CVPR 2023 Open Access Repository
双像素（Dual-Pixel，DP）传感器通过将每个像素分成两半，在单个快照中捕获了一个双视图图像对。DP对的两个视图之间的虚焦模糊区域会产生视差，而焦点清晰区域的视差为零。这启发我们提出了一个名为 K3DN 的 DP对去模糊框架，它包含三个模块：i）视差感知去模糊模块。它估计视差特征图，用于查询可训练的核集来估计最能描述空间变化模糊的模糊核。根据 DP 公式，核被限制为对称的。根据模糊模型进行简单的傅里叶变换进行去模糊；ii）重新模糊正则化模块。它重用模糊核，进行简单的卷积进行重新模糊，并在训练阶段无监督地规范估计的核和视差特征；iii）清晰区域保护模块。它识别与 DP 图像之间视差为零的区域相对应的焦点区域，旨在避免去模糊过程中引入噪声，并提高图像恢复性能。在四个标准的 DP 数据集上的实验证明，所提出的 K3DN 方法在参数和 FLOPS 更少的情况下优于现有的最先进方法。

9 Self-Supervised Blind Motion Deblurring With Deep Expectation Maximization

Paper: CVPR 2023 Open Access Repository
Tags: Self-Supervised

在拍照时，快门时间内的任何相机抖动都可能导致图像模糊。从由相机抖动引起的模糊图像中恢复清晰图像是一个具有挑战性但重要的问题。现有的大多数深度学习方法使用监督学习，通过训练一个由许多模糊/潜在图像对组成的数据集上的深度神经网络（DNN）来解决这个问题。相比之下，本文提出了一种无数据集的深度学习方法，用于从静态场景图像中去除均匀和非均匀模糊效果。我们的方法涉及基于 DNN 的潜在图像重新参数化，并提出了一种 Monte Carlo Expectation Maximization（MCEM）方法，可以在不需要任何潜在图像的情况下训练 DNN。通过 Langevin 动力学实现 Monte Carlo 模拟。实验表明，所提出的方法在去除静态场景图像中的运动模糊方面明显优于现有方法。

10 HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering

Paper: HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering
Code: https://github.com/VinAIResearch/HyperCUT

本文考虑训练图像到视频去模糊模型的挑战性任务，旨在从给定的模糊图像输入中恢复一系列清晰的图像序列。影响图像到视频模型训练的一个关键问题是帧顺序的不确定性，因为正向和反向序列都是合理的解决方案。本文提出了一种有效的自监督排序方案，允许训练高质量的图像到视频去模糊模型。与依赖于不变损失的先前方法不同，我们为每个视频序列分配一个明确的顺序，从而避免了顺序不确定性问题。具体而言，我们将每个视频序列映射到一个潜在高维空间中的向量，使得存在一个超平面，对于每个视频序列，从其提取的向量和其反转序列的向量在超平面的不同侧。向量的这一侧将用于定义相应序列的顺序。最后，我们针对图像到视频去模糊问题提出了一个真实图像数据集，覆盖了包括人脸、手和街道在内的各种流行领域。大量实验结果证实了我们方法的有效性。