【ISP】HCG、LCG和DCG

1.文章目的

该文章主要对《Leveraging Dynamic Response Pixel Technology to Optimize Inter-scene Dynamic Range》这篇文章进行了总结，阐述了DCG Sensor的作用。这也是小米10 至尊纪念版所用到的主摄摄像头技术。

2.文章背景

现实世界中的相机经常会遇到非常明亮的场景和非常黑暗的场景。为了捕获这些场景，图像传感器通常需要针对一个极端进行优化，但代价是另一种性能下降。说具体点也就是我们需要更大的FW（full-well）容量以及更高的灵敏度，但是更高的灵敏度可能会限制FW的容量、传感器可达到的最大信噪比（signal-to-noise ratio, SNR）和总的动态范围（dynamic range，DR）。

该文基于此提出新的cmos pixel设计方案，其通过简单的添加一个DCG（dual conversion gain）来使图像传感器在所有场景条件下均达到最佳。

Dual一词也就说明了一个pixel下有两个方案--Low conversion gain（LCG）和high conversion gain (HCG)。LCG对应于bright scenes的high capacity，HCG对应着light scene下low capacity和increased sensitivity and low read noise。以此保证图像传感器能在极端弱光条件下捕获图像/视频而不牺牲高光条件下的性能。

3.原理介绍

像素结构解释

上图显示了CMOS的一个像素元电路结构。简写如下：

3.1Relationship between Conversion Gain and Full-Well Capacity

CG和FW有什么关系呢？

首先capacitance的公式为 C=Q/V，其中Q为电荷（charge）单位为库仑（Coulombs），V为势（potential）单位为伏特（Volts）。

CG其实就是“反着”表示FD capacitance的一种方式，也就是一个电子能产生多少的电压，CG=V/（Q/q），q表示基本电荷量。

通常，像素中允许的电压摆幅（voltage swing）的大小由整个传感器设计确定。于是这个固定的电压范围意味着CG可以对传感器的FW产生明显的影响。

举个例子

假设FD处所允许的电压摆幅1.25V。如果CG为30 μV/e则可知FD最大容纳 μV / 30 μV/e 约等于42,000个电子。假如入我们用更大的CG比如150 μV/e，那我们只需要μV / 150 μV/e 约 8,000 个电子。这说明了越大的CG导致FD能装的电子越少。

3.2Importance of both Conversion Gain and Full-Well

这一章节主要是说CG值越高，电子更容易被探测到，也就是sensitivity越高。图2是两个Sensor（一个HCG，一个LCG）下画出的图。可以的到两个结论：（1）相同环境相同曝光情况下（可认为收集的电子数量基本相等），HCG的灵敏度更高，转换输出电压更高；（2）在转换输出电压相同的情况下，LCG所收集的电子数更多。

图1

当系统噪音返回到FD时HCG也可以减少read noise。具体为什么能提高正常曝光的信噪比，需要参考博客ISO与动态范围和信噪比的关系-CSDN博客当中的第9小结。

但是请注意，极限好情况下的信噪比会因为CG的升高，而降低，具体查看本文3.3节。

3.3How CG and FW Capacity Relate to DR and SNR

设置先看signal-to-noise ratio (SNR)和dynamic range (DR)的公式。

以上两式的单位都为dB，指传感器的最大曝光（或者说能容纳最大电子数，也就是FW）。

The read noise is the lowest measureable signal, and is defined by the base noise level of the sensor’s whole signal chain / system.

读出噪音是可以检测到的最小的信号，同时也是整个传感器信号系统的最base level的噪音。大的FW是可以最大化SNR和DR的。然而如果增加CG的话，FW的容量就会受限，就会影响，也就会变相降低了SNR和DR。

3.4Expanding Dynamic Range and Low-Light Performance

这一节主要是说明了一些HDR技术如logarithmic pixels, lateral overflow, frame multi-exposure (ME) and intra-frame multi-exposure (IFME)都是intra-scene DR, 他们都不能很好的提高低光下的敏感度和在低光下减少噪音。

3.5Dynamic Response Pixel Technology

图2 DCG Sensor结构和对比图

重点来了，红框就是提出改变的地方。

This technique, focused on  inter-scene DR, adds a separate high sensitivity mode to a pixel that already has a large charge handling capacity.

也就是通过对pixel添加一个大的电容，使其具有新的可分离的高敏感度模式。

图3 高低光流程

当处于高光照环境时，DCG开关打开，连接FD和物理电容，FD节点电容变大，这时对应LCG模式。

当处于阴暗光照环境时，DCG关闭，断开FD和物理电容，这时对应HCG模式。这种情况下，灵敏度变高，读出噪声变小。

下面来看效果图

图4 暗光环境同等参数下的HCG和LCG模式

低光下可以看出HCG有更好的感光敏感度和低噪音。

图5 高光光环境同等参数下的HCG和LCG模式

高光下可以看出HCG会导致细节丢失，但是LCG下的高FD使得许多细节得以保留。

图6 高ISO下HCG比LCG的SNR值要高5dB

高ISO下HCG能减少许多read noise，SNR值相比LCG能提升5dB。最后放DCG sensor与普通sensor在不同曝光下的SNR对比曲线。

图7 DCG sensor与普通sensor SNR对比曲线

可以看出DCG sensor在保证高光不丢失细节的情况下在低光具有超过传统sensor的高SNR值得感光能力。

4.DGA(Dual Gain Amplifier)

Neo和Zyla中使用的双增益放大器电路

DGA实际电路中有两路放大器，上图是一个sCMOS的电路框图。目的和DCG类似，只是对于DCG方式来讲，如果没有特殊处理，一帧可以选择HCG，一帧选LCG；对DGA来说，可以做成一帧内同时读出HCG和LCG数据。