一些图像去摩尔纹方法的调研汇总

一些图像去摩尔纹方法的调研汇总

对ECCV 2022 UHDM文章中所对比的图像去摩尔纹方法进行简单的调研。在UHDM中，将图像去摩尔纹方法分为了摩尔纹模式分类、频域建模和多阶段框架等方法。除了FHDe2Net和UHDM方法，其他方法都是使用低分辨率图像或者合成图像进行图像去摩尔纹的。
UHDM所对比的方法有DMCNN、MDDM、WDNet、MopNet、MBCNN和FHDe2Net，接下来将分别简单介绍这几篇文章。

DMCNN：https://ieeexplore.ieee.org/abstract/document/8356681
MDDM：https://ieeexplore.ieee.org/abstract/document/9022550
WDNet：https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123580086.pdf
MopNet：https://openaccess.thecvf.com/content_ICCV_2019
MBCNN：https://openaccess.thecvf.com/content_CVPR_2020
FHDe2Net：https://link.springer.com/chapter/10.1007/978-3-030-58542-6_43

1. DMCNN: Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks (TIP 2018)

• 提出了一个大型基准数据集TIP2018，本文提出了一种新的多分辨率全卷积网络，用于从照片中自动去除摩尔纹图案。主要工作围绕着数据集的构建，网络模型在现在看来结构简单清晰，使用了五个scale，在不同尺度下去除摩尔纹重构并叠加。
  

2. MDDM：Multi-Scale Dynamic Feature Encoding Network for Image Demoiréing （ICCVW 2019）

• 提出一种结合动态特征编码的多尺度卷积残差网络用于图像去摩尔纹，多尺度用于获取和取出不同分辨率和不同频段的摩尔纹，动态特征编码用于更好地去除动态纹理。主要还是网络结构上的变化，使用了一种通道注意力动态编码残差块，从1/2到1/32的多尺度框架。

3. WDNet: Wavelet-Based Dual-Branch Networkfor Image Demoir´eing (ECCV 2020)

• 本文设计了一种结合空间注意力机制的双分支小波网络用于图像去摩尔纹，从小波域分离摩尔纹模式和图像内容，利用密集卷积和扩展卷积实现大规模感受野，实验结果表明不仅在图像去摩尔纹任务上表现优秀（即使是非屏幕图像），且能够应用到图像去雨等任务上。另外，本文构建了一个包含更多摩尔纹模式的城市景观数据集。
• 方向感知模块DPM中两个卷积层与八向感知块的组合相当于一次注意力操作，本文采用了L1损失、感知损失、小波损失和注意力损失，其中注意力损失是DPM输出与摩尔纹模式掩码之间的差异。
• 从表格的消融实验来看，是否使用空洞卷积（-1.05dB）和小波变换（-0.85dB）对结果的影响较大，使用密集块or残差块（-0.52dB）、方向感知模块（-0.41dB）和8向方向感知模块（0-.19dB）的影响并不大，尤其是这个四向变八向效果也忒低了。
  
  
  
  

4. MopNet: Mop Moire Patterns Using MopNet (ICCV 2019)

• 摩尔纹图案复杂的频率分布、颜色通道的大小不平衡以及多种外观属性，使其去除成为一个具有挑战性的问题。本文提出的MopNet专门针对摩尔纹模式进行特殊的设计，包括多尺度特征聚合用于解决复杂频率（频率分布），通道目标边缘预测用于探索颜色通道间的不平衡程度（边缘信息），和属性感知分类器，以表征多样化的外观（外观属性），以更好地建模云纹图案。
• 从频率分布、边缘信息和摩尔纹外观属性三个角度，针对每一个点设计一个专门的模块，以残差的结构进行学习去除摩尔纹。损失函数包含了目标边缘损失、L2重构损失和特征级损失。消融实验验证了每个部分的有效性，多尺度聚合(+1.3dB)、多尺度+分类（+1.7dB）、多尺度+边缘检测（+2.1dB）和整个模型（+2.4dB），分类的作用同WDNet中的八向分类器一样都比较小。
  

5. MBCNN：Image Demoireing with Learnable Bandpass Filters （CVPR 2020）

• 图像去摩尔纹是一项多层面的图像恢复任务，包括纹理恢复和颜色恢复。对于纹理恢复，本文提出了一种可学习的带通滤波器(LBF)来学习频率先验用于去除云纹纹理；对于颜色修复,本文提出了一种两步的色调映射策略,首先应用全局色调映射来纠正全局颜色的变化,然后对每个像素的颜色进行局部的微调。另外，提出了一种高级Sobel损失用于学习结构高频信息，在不同尺度下移除摩尔纹模式。
• 图中MTRB表示摩尔纹理去除模块，GTMB表示全局色调映射模块，LTMB表示局部色调映射模块。高级Sobel损失就是经典Sobel算子添加了两个对角的方向，在两个公共数据集上实现了超过2dB的提升。
  
  
  
  

6. FHDe2Net：Full High Definition Demoireing Network （ECCV 2020）

• 本文所提出的框架是面向全高清图像的图像去摩尔纹模型，该框架由一个全局到局部的级联去除分支和一个基于频率的高分辨率内容分离分支组成，以消除多尺度的摩尔纹模式。另外，进一步手机了全高清摩尔纹图像数据集作为一个新的基准数据集。
• 看了一下这不跟UHDM差不多么，这个文章出了个1080P的全高清数据集，UHDM出了个4K数据集。上方的分支采用GDN模块快速提升网络的感受野，能够迅速达到300*300以上，然后再使用超分辨率方法中的局部增强策略进一步细化；高分辨率图像细节十分敏感，采用YUV色彩空间和频域变换使内容和摩尔纹模式在频域进行分离与细节补充，最终经过反变换和特征融合得到最终输出图像。