由Sensor光电转换效率和光谱功率分布曲线联想到的白平衡增益计算

    之前博文由Sensor光谱响应曲线联想到的白平衡增益计算有写到白平衡增益计算中的一些是思考。今天再次学习了下，有新的理解：

光谱功率分布函数

    光是由光源发出的。凡能发射紫外线、可见光、红外线等各种电磁辐射的物质都可称为光源。其中又有自然光源和人造光源之分。常见的自然光源有太阳、昼空、夜空、月和星等。人造光源的范围很广，包括热辐射或温度辐射光源、气体放电光源、同体发光光源、激光器等各种类型。还有蜡烛、油灯、火焰、电弧等也属于人造光源。

    不管是自然光源还是人造光源大都是由单色光组成的复色光。光源的辐射能按波长分布的规律随着光源的不同而变化。光源的光谱能量分布或光谱功率分布常用直角坐标系的光谱功率分布曲线来表示。此时，横坐标表示波长λ，纵坐标表示单位波长间隔内的辐射功率。在色度学研究中，常常关心的是各波长辐射功率的相对比例而非光源的绝对光谱功率分布。这时，可令光谱分布函数的最大值为1，将函数的其他量进行归化，经过归化后的光谱分布称为相对光谱功率分布，其各波长对应值仍保持和绝对光谱功率分布相一致。

    常见光源的光谱功率分布函数为：

彩色刺激

    光源是人眼形成颜色的三个重要因素之一。第二个主要因素是物体。当光源发出的电磁辐射到达物体表面的时候，通常会被物体一部分吸收、一部分放射、一部分转换。不同的物体对电磁波的反射和转换各不相同。物体的这种固有特性，可以用光谱反射率描述。

 不同色块的光谱反射率函数为：

     光源和物体的反射率共同决定了彩色刺激。光源的光谱功率分布揭露的是每种电磁波能量能够达到物体表面；而光谱反射率表示的是多少电磁波能量能够反射进入到人眼或者sensor。

因此，用数学表达彩色刺激为：

  人类视觉系统

    人类视觉系统（HVS）的研究包括光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等许多科学领域。人眼类似于一个光学信息处理系统，但它不是一个普通的光学信息处理系统，从物理结构看，人类视觉系统（HVS）由光学系统、视网膜和视觉通路组成：

Optics of the Eye

     我们的视觉感知与人眼的结构是紧密相关的，上图是人眼的结构示意图，这些器官都对颜色的感知有重大影响。

1. Cornea(角膜)：为眼球壁前部外层的透明部分，主要由无血管的结缔组织构成，呈圆形，有折光作用。

2. Lens(晶状体)：位于玻璃体前面，呈双凸透镜状，是人眼屈光系统的重要组成部分，与传统光学元器件中的固定折射率不同的是，晶状体的中心处的折射率高于边缘区域，有助于减少可能存在的各种像差。

3. Iris(虹膜)：位于角膜和晶状体之间，是后置瞳孔大小的括约肌，虹膜的颜色根据色素的多少和分布而异。

4. Retina(视网膜)：为眼球壁的内层，有感受光刺激的作用，在视网膜的后面有色素上皮细胞(pigmented epithelium)，这种色素上皮细胞可以吸收任何通过视网膜的光，防止光线散射会视网膜，从而降低感知图像的锐度和对比度。

5. Fovea(中央凹)：上图中黄色区域的凹陷处，是视网膜上辨色力、分辨率最敏锐的区域，当我们观察视野中的物体时，我们会移动头部和眼睛，使物体的图像恰好落在中央凹上。

6. Optic Nerve(视神经)：发源于视网膜的神经节细胞的轴突组成

The Retina

    上图是视网膜示意图，从光感受细胞(Photoreceptor)、水平细胞(Horizontal)、双极细胞(Bipolar)、神经节细胞(Gangion)，这些细胞往往不是一对一的连接，而是一对多的相互连接，这也就意味着经由神经节细胞从视网膜传递到大脑的视觉信号并不是光感受细胞感受到的光强的点对点表示，而是光感受细胞感受到的光强的复杂组合，这也就是为什么人眼能够用100万个神经节细胞接收来自1.3亿个光感受细胞所接收到的光信号的原因。视网膜上比较重要的两种光感受器细胞是视椎细胞(Cone)和视杆细胞(Rod)，其结构如下图所示：

     从名字上看视杆细胞应该细长，视椎细胞应该接近圆锥体，但这种基于形状的区别是有误的，这两种细胞的真正区别在于其视觉功能的不同，视杆细胞可以感知低于 1cd/m2的弱光，且不感受光的颜色，视椎细胞可以感知高于 100cd/m2的强光，且能感知颜色，光强度在 1cd/m2 -100cd/m2的中强度光照小，视椎细胞和视杆细胞都能提供相应的视觉感知，其感知差异如下图所示：

    此外，视椎细胞与视杆细胞的光谱灵敏度也有很大的差异，如下图所示，视杆细胞的光谱灵敏度峰值大概在400nm左右，视椎细胞可以根据其对不同波长的光的灵敏度分为 L、M、S三种，这就是视杆细胞不感受颜色，而视椎细胞感受颜色的原因，颜色空间中常见的LMS颜色空间就是在模拟视椎细胞对不同波长光的感知。 

    另外， L、M、S三种光感受细胞在视网膜中并不是均匀分布的，其中 S型视椎细胞(感知蓝光)相对最少，且在中央凹区域几乎没有分布，这三种视椎细胞的分布比例约为L:M:S=40:20:1 L:M:S=40:20:1，且在中央凹区域没有视杆细胞。

    当观察到某物体彩色刺激时，每一种视锥细胞将对所有电磁波彩色刺激反应之和，即可得到从视锥细胞的三种响应值，其分别为：

    我们知道彩色刺激取决于光源和物体的反射。从数学上可知，相同物体在不同光照环境下将得到不同的彩色刺激。但是，从我们的实际经验看来，相同的物体在不同光源下得到相同的彩色刺激，这种性质称之为色彩恒常性。这是人类视觉系统所特有的性质。对sensor而言，不存在色彩恒常性。为了在sensor上模拟人类视觉的色彩恒常性，常常需要对sensor所采集的数据做白平衡矫正。

    CMOS/CCD 一般使用在光电探测其前添加拜耳模式的滤光片采集图像。当观察到物体的彩色刺激，每一个滤光片后的光电探测对彩色刺激的响应为所有到达的波长之和。因此，拜耳模式下三种相应值可表示为：

ISP中白平衡的应用

   通常光源都是多个波长的光组成，每一种波长的光的功率都不一样。

   sensor能够获取多个波段的波，每个波段的能量值与光谱相应函数有关。

  sensor的光谱响应不同波段的大小，在raw数据上反映为像素的灰度值大小。

  常见光源功率谱分布图像可以参考网址：几种常用的光源光谱功率分布 | XRITE-REPAIR

  以下是常见的A色温（钨丝灯）和D65色温光源的光源功率谱分布图像，

  光源的功率谱分布

以下是佳能某款型号sensor的光谱敏感度函数。其他sensor基本类似。

sensor 的光谱灵敏度函数

   结合光源功率谱分布和sensor的光谱敏感度函数，可得到sensor的光谱相应函数：

       A色温下蓝色光源功率谱函数值要比D65色温光源的蓝色光功率谱函数值低很多，而红色光功率谱函数值两种色温下差别不是很大。由光源功率谱函数和sensor光谱敏感度函数可知：

      sensor的A色温蓝色光谱的相应值要比D65色温下蓝色光谱响应值低很多，A色温红色光谱的相应值要比D65色温下红色光谱响应值差别不是很大。从而由白平衡统计结果计算出来的增益，A色温下的B增益要比D65色温光源下的R增益大很多。A色温低照度下的B通道的增益往往可以达到700-1000左右；而D75色温低照度下R通道的增益基本上是500-700左右。

     由于此原因，导致A色温下的低照度下G/B的变化要比高色温低照度下G/R的变化大很多。从G/B-G/R色温坐标系中，可以观察到A色温光源下G/B坐标分散程度要大于D65色温光源下G/R的分散程度。低照度下尤为如此。

      从sensor的光谱灵敏度函数和光谱响应函数来看，sensor在可见光范围内都将对绿色光波进行高效率的转换，而对B/R只有在靠近紫外光波和红外光波附近才具有较大的转换效率。因此，体现在sensor的RAW数据灰度值上时，无论何种色温的光源，G通道的灰度值都大于另外两个通道得灰度值。这个也是对由Sensor光谱响应曲线联想到的白平衡增益计算的进一步验证。

    

参考：

1.颜色外观模型：人眼视觉理论基础

2.Signal Sensor Imaging：Methods and Application