【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation

0.Links

已开源 FastDVDNet: https://github.com/z-bingo/FastDVDNet
知乎专栏:https://zhuanlan.zhihu.com/p/73286010

1. Introduction

FastDVDNet是一种视频去噪中的STOA方法,与其他STOA方法有着相近或者更好的性能,但是有着更低的时间复杂度。
计算机视觉中,对于视频去噪的研究相对较少,大多方法还是基于传统的算法,如VBM4D等non-local的方法,还有一些方法是图像去噪方法的简单扩展。由于视频有着较强的时间相关性,那么一个好的视频去噪算法必将要充分利用这一特点。利用时间相关性主要体现为两个方面:

  1. 对于给定的patch,不仅要在同一帧的相邻区域搜索像素的patch,也要在时间相近的frame上进行搜索;
  2. 使用相邻时间的frame还可以有效减少flockering,因为每一帧之间的残余就会是相关的。

为了解决motion带来的对齐困难问题,DVDNet中使用光流进行了显式的估计,但是光流的计算是比较耗时的,即便是快速算法也是如此。对于encoder-decoder结构的U-Net,其本身具有在感受也范围内对齐的功能,因此,在FastDVDNet中采用了这种做法,也就提高了性能。

2. Network Architecture


Fig. 1是FastDVDNet是结构图,通常连续5帧和一个噪声的估计一起作为网络的输入,从网络的top view来看FastDVDNet是一个two-stage的结构,5帧图像分为三组作为Block1的输入,三个Block1的输出又作为Block2的输入。其中,三个Block1共享参数,Block1和Block2有着相同的结构,如Fig. 1(b),是一个修改版的U-Net网络。值得注意的是,相较于original U-Net,此处的网络有2个下采样层(U-Net有4个),且下采样并非通过pool来实现,而是通过stride为2的Conv层实现的;此外,上采样也没有通过Bilinear插值或deconv来实现,而是通过PixelShuffle来实现。相较于DVDNet,FastDVDNet的结构就非常简单了。

3. Loss Function

在图像/视频去噪领域中,L1 Loss使用较多,因为L1 Loss可以保护去噪后图像的整体信息;较为不同的是,FastDVDNet使用了L2 Loss。

4. Results and Analysis

已经使用PyTorch复现了改论文,没有使用文中使用的DAVIS数据集,而是使用了Vimeo-90K数据集,该数据集专用于图像增强等领域,包含了接近90K组图像帧,每组数据为7帧,每帧图像分辨率为448*256。目前,网络正在训练中,后续(本月中旬)会将训练好的模型上传至github,代码现已开源至我的github,欢迎各位批评指正!

由于训练尚未结束,暂不讨论该模型在Vimeo-90K数据集上的表现能力,先讨论其在DAVIS数据集上、噪声为加性高斯噪声(AWGN)时的去噪性能。

4.1 two-stage结构必要性

如Fig. 1所示,FastDVDNet采用了two-stage结构,连续5帧图像首先分为三组右Block 1提取特征,进而,三个共享参数的Block 1的输出作为Block 2的输出进一步地提取特征、去噪。若该two-stage结构对于去噪任务是冗余的,那么,将two-stage结构改为single-stage后,模型性能应几乎保持不变。文中给出了相关的数据说明,假设FastDVDNet采用Fig. 3所示的single-stage结构,即,五帧图像连接在一起作为一个Block模块的输入,这无疑在很大程度上减少了学习参数,但Table 1中的数据表明,参数减少带来的结果是性能下降。
【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation_第1张图片
【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation_第2张图片

4.2 encoder-decoder结构必要性

encoder-decoder结构是一种典型的multi-scale结构,可以在不同的scale提取图像的特征,增大图像感受野。在近年来对于图像去噪的研究中,encoder-decoder结构的模型也占了多数,但是也不乏有single-scale结构的网络,如经典的DnCNN也有着很好的性能。文中,也通过实验来证明了encoder-decoder结构的必要性,实验结果如Table 2所示。
【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation_第3张图片

4.3 结果分析




Fig. 4 ~ Fig. 6是几组不同算法和FastDVDNet的对比图,Fig. 4中(d)为FastDVDNet的去噪结果图,Fig. 5和Fig. 6中(h)为FastDVDNet的去噪效果图,将图片方法观察其细节,可见,DVDNet和FastDVDNet去噪后的图像细节保存较好,边缘比较平滑。

References

[1] FastDVDNet:ToWards Real-Time Video Denoising Without Explicit Motion Estimation
[2] DVDNet: A Fast Network For Deep Video Denoising
[3] PyTorch
[4] Vimeo-90K

你可能感兴趣的:(论文阅读,PyTorch)