Retinexformer 论文阅读笔记

Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

• 清华大学、维尔兹堡大学和苏黎世联邦理工学院在ICCV2023的一篇transformer做暗图增强的工作，开源。
• 文章认为，Retinex的$I=R\odot L$假设干净的R和L，但实际上由于噪声，并不干净，所以分别为L和R添加干扰项，把公式改成如下：
  
• 本文采用先预测$\overline{L}$再使用$I\odot \overline{L}$来预测增强结果的retinex范式。结合上面公式可以得到：
  
• 其中第一项是因为假设$L\odot \overline{L}=1$，所以第一项是我们要的增加结果，是干净的R，而第二项是由于$\hat{L}$引进的干扰，即过曝或欠曝的干扰，第三项是$\hat{R}$引进的干扰，即噪声和伪影。第二项第三项统称为corruption，得到下式：
  
  由于$I_{lu}$还包含corruption，它并不是我们要的最终增强结果。我们可以先估计$I_{lu}$，再将其中的C去掉，得到最终的增强结果
• 网络结构如下图所示，其中$L_p$是图片的三通道均值。下面的图对模块的展开方式有点奇怪。其实就是对concate后的亮度图和原图，提取$\overline{L}$和特征$F_{lu}$，然后用$F_{lu}$对后面的修复过程中transformer 的V 进行rescale，也就是用在了illumination-guided attention block。后面的修复过程就是把初步的增强结果进行细化，抑制过曝区域，去噪的过程。

• 实验结果如下图所示，只给了PSNR和SSIM，不过没有和LLFlow比，所以区区22的PSNR也敢称SOTA。
  
• 也比较了exdark上的增强结果和多个数据集上的user study
  
• 个人感觉这篇工作没什么亮点，就是搞网络结构，但思路又不是特别亮眼，效果也没有特别好，还没有给lpips niqe LOE等指标。