Learning to See in the Dark_CVPR2018

论文地址

参考资料
https://cchen156.github.io/SID.html
【笔记记录于20231229 周五 16:25】
BR：资料看到这里差不多了，找代码测试效果。
队友反馈代码用的tensorflow 1.0 的包，太老没法测试，打算还是趁着元旦找找资料

Abstract

1、低光照图像的挑战：低光子计数导致了低信噪比。
2、本文工作针对性解决极端低光成像问题，更具体的：照明严重受限（如月光）&短曝光（理想情况是视频速率）。
3、构建了短曝光+长曝光 raw 数据集。

BR：貌似是 AIISP 的先驱

1、Introduction

环境照度小于 0.1 lux 时，（a）完全看不到内容，（b）场景的内容可辨别，但图像暗淡&有噪声&颜色失真。（ISO 增大，图像变亮，噪声也放大）

本文方法
1、使用深度学习网络解决低照图像去噪问题，取代了 raw 图的 ISP 处理流程（包括颜色变换、去马赛克、降噪和图像增强）。端到端训练避免噪声放大和误差积累。
2、构建低照 raw 数据集。成对数据，分别进行短曝光和长曝光（TBD：长曝光也是raw数据吗？？）
3、方法测试结果：低光图像亮度提升高达300倍，成功降噪&色彩转换正确。（PUZZLE：是真的吗？）

2、Related Work

图像去噪

• 小波域处理、稀疏编码、核范数最小化和三维变换域滤波(BM3D)：通常基于特定的图像先验，如平滑性、稀疏性、低秩或自相似性
• 深度学习方法（stacked sparse denoising auto-encoders (SSDA)、trainable nonlinear reaction diffusion (TNRD) ）：在合成数据集上表现不错，但真实数据集比不过 BM3D
• 多图去噪方法：对来自同一场景的一组图像进行降噪。它通常有效，但 pipeline 很复杂，包括参考图像选择（lucky image）和图像之间的密集对应估计。

弱光图像增强

• 直方图均衡
• 伽马校正：提升暗部的亮度&压缩亮部
• 逆暗通道先验、小波变换、Retinex模型和照度图估计
• …

噪声图像数据集

• RENOIR dataset：对真实噪声图像进行基准去噪。有文献指出，RENOIR 的图像对表现出空间错位
• 在低光照条件下使用 burst image 来降低噪声，但相关数据集不包含可靠的地面真值数据
• Google HDR+ dataset：不针对极弱光成像，数据集中的大多数图像都是在白天拍摄的。
• Darmstadt Noise Dataset ：旨在解决去噪界对真实数据的需求，但这些图像是在白天捕获的，不适合评估低光图像处理。
• 据我们所知，目前还没有包含原始低光图像和相应地面真实度的公共数据集。So here we come.

3、See-in-the-Dark Dataset

1、共 5094 张短曝光 raw 图，每张都有对应的长曝光真值
2、收集了短曝光图像序列来评估 burst 去噪方法（TBD：不懂）

4、Method

4.1 Pipeline

1、本文方法在 raw sensor data上操作，输出 RGB 图。
2、卷积层用 FCN 实现，验证方法可行后做了优化，替换为多尺度上下文聚合网络 CAN（muti-scale context aggregation network）和 Unet。

• 残差连接的方式测试效果一般，没采用。
• GPU 上处理全分辨率图（TBD：这也可以？）
• 默认框架 Unet

3、amplification ratio γ 决定输出图像的亮度，见下图。 γ 是外部参数，可以人为设定（和相机的 ISO 一样）

4.2 Training