ISP 框架

一．ISP 框架

图 1：ISP标准流程
b) 去马赛克(demosaicing)
Demosaicing的意思是如何将采集到的Bayer单通道像素值转成RGB三通道的数据。例如下图4(左图)，这是我们采集到的单通道图像，我们需要估计R5位置处的G5和B5. 目前常用的方法是：1.简单插值。

图 4： 简单插值

2. edge-aware 插值
   
   上述都是基本的简单方法。在改进方面，近几年也有比较新的工作，如文献[5,6]。

c) 白平衡(white balance)

图 6：相机白平衡的原因；人眼会根据先验知识自动白平衡[7]
AWB: "Gray world" algorithm.传统相机中的自动白平衡是通过灰度世界原理，假设RGB三通道的均值相同[8]。

白平衡总结：

1. 相机自动白平衡

2. 用户可以收到设置白平衡

图7： 不同光照下的色温与白平衡选择的对照表

图 8： 相机中预定义的不同光照下的白平衡矩阵

贴几个白平衡的工作: 传统白平衡的survey[9], 深度网络做颜色校准[10], 纠正错误白平衡的图像[11]。如果你想进一步了解的话，可以找这些工作的参考文献部分，就可以对这个领域有大致大了解。

d) Color Space Transform (CST)

CST步骤的目的是将不同相机采集到图像数据转化到标准的色系下，如下图的CIE XYZ下，与CIE XYZ相关的知识我也不是很懂，只指导是某种颜色表示，如sRGB一样。具体的需要读者自己查找相关文献。

图 9 ：将不同相机采到的数据，转换到同一个标准下

图 10：White balance矩阵是对角矩阵，而CST矩阵是full 矩阵。

相机计算CST矩阵的方法主要是：

1. 相机出厂时，会预定义好两个不同色温下CST矩阵的值，如下图11所示。

2. 然后在拍到新的图像时，根据设置的白平衡数据，得到色温后，插值得到当前的CST矩阵，如图12所示。

图 11. 设备预定义的CST矩阵

图 12. 根据色温数据进行插值得到当前的CST矩阵信息

贴一个改进CST步骤的工作[12]。