Learning-to-See-in-the-Dark

 

CVPR 2018：英特尔实验室推出在黑暗中也能清晰成像的系统

 

编者按：想在黑暗中看清周围，不可避免地要用到夜视仪。那么如果是想在黑暗中拍照，又没有闪光灯，如何才能排到清晰的照片？在CVPR 2018上，UIUC的陈晨和英特尔实验室的陈启峰、许佳、Vladlen Koltun合作，提出了一种在黑暗中快速成像的系统，效果令人非常惊讶。论智现将论文编译如下。

作者：陈晨（UIUC），陈启峰（Intel Labs），许佳（Intel Labs，现已加入腾讯AI Lab），Vladlen Koltun（Intel Labs）

在暗光下的图像易受到低信噪比和低亮度的影响。短曝光的照片会出现很多早点，而长曝光会让照片变得模糊、不真实。目前已经有很多去噪、去模糊、图像增强的技术，但是在极端条件下，他们的作用就很有限了。为了发展基于学习的低光度图像处理，我们引入了一个数据集，内含有原始短曝光低亮度图片，同时还有对应的长时间曝光的图像。利用该数据集。我们创建了一个机遇端到端训练的全卷积网络，用于处理低亮度图像。网络直接使用原始传感器数据，并替代了大量传统图像处理的流程。最终我们发现新数据集的结果很有前景。

 

 

环境中的亮度极低，相机的亮度小于0.1lux，快门速度为1/30，光圈为f/5.6，ISO为8000（通常这已经很高了）。但是照相机照出来仍然是漆黑一片（这可是用索尼全画幅传感器）。

把ISO调到409600，这已经超过了大多数相机的极限了，可以看到照出来的图像了，但是图像显得很暗，噪点较多，色彩失真。

而我们的方法则清晰了许多。具体来说，我们训练了深度神经网络学习处理低亮度原始图像数据的过程，包括色彩转化、去马赛克、减少噪点、图像质量提高等等。

 

 

................

 

结语

由于极少的光子数量和极低的信噪比，在黑暗环境中成像一直是个大难题。想以视频速率在黑暗中成像，对于传统的信号处理方法来说几乎是不可能的。而我们提出的See-in-the-Dark数据集、全卷机的网络证明了这种在极端条件下成像的可能。最后的实验也证明这种方法行之有效，我们希望这项工作能在未来提供更多帮助。

论文地址：arxiv.org/abs/1805.01934

项目地址：web.engr.illinois.edu/~cchen156/SID.html

GitHub地址：github.com/cchen156/Learning-to-See-in-the-Dark