最新!图像去噪综合比较研究

作者 | CV君
报道 | 我爱计算机视觉(微信id:aicvml)

图像去噪是计算机视觉领域的传统方向,对于可见光图像、视频、核磁图像等的处理仍应用广泛,在工业和学术界引起很多人的关注,基于BM3D(block-matching 3D ,2007)框架的系列算法是该领域的著名方法,其结合图像非局部相似的属性和变换域的稀疏表示,在深度学习用于CV各领域的今天仍有用武之地。

今天新出的论文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』,对传统的图像去噪方法和深度学习方法进行了综述和比较,考察了191篇文献,相信对研究该方向的朋友定有帮助。

该文作者信息:

最新!图像去噪综合比较研究_第1张图片

作者来自理海大学和华南理工大学。

图像去噪旨在给定噪声图像恢复原图像,单在噪声模型难以估计的情况下,利用图像的 NLSS(非局部自相似) 属性成为方法的主流。亦即自然图像内部含有相似的图像块,利用此特点恢复源图像,NLSS先验与补丁表征示例:

最新!图像去噪综合比较研究_第2张图片

传统图像去噪方法(成功的BM3D框架的众多方法)流程:

最新!图像去噪综合比较研究_第3张图片

即噪声图像经过Grouping、Collaborative filtering、Aggregation,得到结果图像。

传统的多维图像数据的去噪器:

最新!图像去噪综合比较研究_第4张图片

基于DNN去噪方法及应用:

最新!图像去噪综合比较研究_第5张图片

具有三个卷积层的简单CNN去噪框架图解:

最新!图像去噪综合比较研究_第6张图片

该文详尽总结了用于评测结果的人工合成和真实世界的多维图像去噪数据集(具体出处和下载方式请参考原论文):

最新!图像去噪综合比较研究_第7张图片

具有代表性的多维图像去噪方法和数据集的发展史:

最新!图像去噪综合比较研究_第8张图片

部分数据集的示例图像:

最新!图像去噪综合比较研究_第9张图片

另外为评估算法,作者还推出了自己收集的IOCI数据集:

最新!图像去噪综合比较研究_第10张图片

传统方法和基于DNN的方法在几个真实彩色图像数据集上的结果,以 PSNR 和 SSIM 为评价指标:(请点击查看大图)

最新!图像去噪综合比较研究_第11张图片

最新!图像去噪综合比较研究_第12张图片

多个方法在真实彩色视频数据集上的评比详细结果:

最新!图像去噪综合比较研究_第13张图片

另外,对于图像去噪PSNR 和 SSIM 并不能完美反应图像质量,作者还做了大量的视觉效果评估:

1)CC15 数据集(PSNR)  (图8)

最新!图像去噪综合比较研究_第14张图片

2)PolyU 数据集(PSNR)  (图9)

最新!图像去噪综合比较研究_第15张图片

3)IOCI’s IPHONE 5S 数据集(PSNR) (图10)

最新!图像去噪综合比较研究_第16张图片

4)IOCV 数据集(彩色视频去噪)(图11)

最新!图像去噪综合比较研究_第17张图片

同样,作者使用用户调查打分的方式,得到了人为评分结果:

最新!图像去噪综合比较研究_第18张图片

FastDVDNet算法在计算量较低的前提下,效果表现也一致的好。

在 CAVE 数据集上的高噪声水平σ=100时,对基于张量的去噪器的比较结果:(图12)

最新!图像去噪综合比较研究_第19张图片

CAVE 数据集上,高斯噪声 σ = {10, 30, 50, 100}时的质量和计算时间(分钟)对比结果:(表7)

最新!图像去噪综合比较研究_第20张图片

高斯噪声下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和计算时间(分钟)σ∈{10,20}(表8)

最新!图像去噪综合比较研究_第21张图片

在真实世界 HHD 数据集上,MSI 去噪方法比较结果:(图13)

最新!图像去噪综合比较研究_第22张图片

σ≥11%时高噪声水平下的去噪性能比较:(图14)

最新!图像去噪综合比较研究_第23张图片

T1w、T2w和PDw数据被Rician噪声破坏的情况下,不同方法的平均PSNR/SSIM 值 和 计算时间(s)(表9)

最新!图像去噪综合比较研究_第24张图片

在估计噪声水平σ = 19% 的合成Brainweb T1w 数据上对比较方法进行可视化评估(图15)

最新!图像去噪综合比较研究_第25张图片

最新!图像去噪综合比较研究_第26张图片

在估计噪声水平σ=3% 的真实OAS1 0112 T1w数据上对比较方法进行可视化评估(图16)

最新!图像去噪综合比较研究_第27张图片

在估计噪声水平σ = 4.5% 的真实 OAS1 0092 T1w数据上对比较方法进行可视化评估(图17)

最新!图像去噪综合比较研究_第28张图片

CBM3D1 在 σ∈[10,30]时五个数据集上的 PSNR 和 SSIM 值对比(图18)

最新!图像去噪综合比较研究_第29张图片

PSNR 和 SSIM 6种不同实现的(图19)

最新!图像去噪综合比较研究_第30张图片

使用和不使用图像大小调整策略的 CMSt-SVD 方法的视觉效果对比:(图20)

最新!图像去噪综合比较研究_第31张图片

当一组中的所有补丁都相同时,T-HOSVD 应用于无噪声图像时的过度平滑效果图(图21)

最新!图像去噪综合比较研究_第32张图片

最终,作者总结发现:

1)BM3D系算法在性能和效果上均展示出不俗的表现;

2)对于仅从噪声观察中学习的传统降噪器,改进的奇异值分解(M-SVD)方法能够与许多基于张量的方法产生相似的结果;

3)基于DNN的方法虽然在合成数据集上训练(因为所需标签数据在实际场景中是不存在的,只能采用合成噪声图像的方法),但在实际测试中仍表现出强大的泛化能力。

该文内容涉及广泛,非常值得从事图像去噪的朋友研究。

你可能感兴趣的:(图像去噪,计算机视觉,人工智能,图像处理)