RAW域降噪

在RAW域去噪声的原因

Raw 图像会经过isp各个block，每一步的信号处理操作都会造成噪声不同的变化。

1. Lens shading correction 对噪声的影响

因为lens shading correction 是在图像的上乘以一个gain，远离中心的地方gain 越大，因此会导致，gain大的位置，噪声也变得更大。

原始信号是这样的：

image

经过shading correction，如下图，图像边缘的噪声会被显著增强

image

由图像中心到边缘就会形成沿径向增强的噪声图像，也被称作radial noise。

2. demosaic对噪声的影响
由于demosaic 对原始信号进行了插值操作，会导致图像的噪声变为结构性噪声。

image

如图d所示，图像会出现一些特别的pattern noise

3. 非线性变换

Gamma :

Gamma可以近似理解为不同的亮度值乘以的gain不一样，亮度越小的地方乘以的gain越大，亮度越大的地方乘以的gain越小，因此gamma之后的噪声又发成了一个非线性变化，模型为：

image

4.线性变换
比如awb，digital gain 这些运算时线性变换，图像的噪声会线性变化。

5. CCM

无论是色彩管理还是RGB到SRGB色域空间的转换，一般情况下是一个3*3的矩阵，这一步又增强了噪声的相关性，而且还会增强视觉的彩色噪声的饱和度，使噪声的视觉效果变得更糟糕。

结论：

图像从sensor 输出， 经过isp后，图像的噪声性质变得更加复杂，难以处理，所以在isp的前端进行去噪处理是比较合适的选择。（去彩色噪声一般在isp的后端，因为这时候图像可以很容易分离出亮度通道和彩色通道。）

相关启发：
1，raw domain的噪声不是单纯的高斯噪声，而是和亮度有关系的。
2，在raw domain进行一定程度的降噪，对于图像质量会有很大的提高，比如上图中的结构性噪声。
3，在raw domain设计降噪算法会稍微容易一些。在不同的亮度进行不同强度的降噪，或者把噪声归一化，有利于保护细节。
4，noise profile并不是单纯用在denoise这一个模块上，还以用在时域降噪，demosaic等模块上。
5，实际使用时并不一定要在raw domain降噪，很多ISP也都是以YUV domain降噪为主体的。

RAW域噪声特性：

image.png

高斯噪声与信号无关，泊松噪声与信号有关。

image.png

有了这个数学描述，可以建立起信号强度与噪声强度之间的对应关系，在系统运行期可以以此为输入调节去噪算法更好地去噪。

image.png

降噪的评价标准：

PSNR : 峰值信噪比 Peak Signal to Noise Ratio
SNR ： 信噪比 SIGNAL-NOISE RATIO

image.png

snr的标准是：dB越高，降噪程度越好。
一般会出现两种问题：
1，SNR好并不能代表真实的视觉噪声，有些同样的snr，但是视觉表现出来就不同：visual noise
2，snr好并不能代表最终图像质量好，有时会过度涂抹；snr虽高，但是图像质量并不好。

image.png

同样的方差，完全不同的视觉效果。
结论：因为不同的频率噪声对人眼的视觉影响完全不一样，并且人眼对彩噪和亮度噪声的感觉也完全不一样。

image.png

枯叶图：

image.png

关于枯叶图：
https://www.xianjichina.com/special/detail_342261.html
在手机行业中，降噪已经成为信号处理中一个很重要的部分。由于使用的算法不同及要消除的噪声量也不同，降噪处理会导致在低对比度细节方面有损失，也就是纹理损失。在过去的许多年里，降噪的效果也成为客观图像质量评估的一个重要部分。不同的厂家使用的方法可能都不一样，我们所呈现的是根据我们的经验得到的结果。我们发现一个问题，如果使用中性的图卡，待测的设备测试的结果是和真正的生活经历是不匹配的。我们采用的是有颜色的图卡。

评估新的图卡和测试方法：
使用相机去拍摄，为了得到一个关于图像质量整体的印象，测试必须包含所谓的纹理损失测试和分辨率测试。一些专家也已经讨论了不同的方法，有一个建议是使用“枯叶图”，因为它类似于树的枯叶。为了评估新的图卡和新的方法，使用不同的相机进行测试。这就包含了在纹理损失有很低性能的相机和一些单反相机。
因此我们知道必须要更换图卡和分析图片的算法。自然物体和枯叶图之间的主要区别就是枯叶图是灰色的。几乎在市场上所有以摄影为目的的相机都是以拜耳模式分布工作的并且需要在每个像素中插入丢失的颜色信息。去马赛克当然会对相机的SFR有影响。降噪算法可以在处理强度和颜色上有区别，因此一个纯灰的图卡是不能反映相机在彩色物体上的性能。