ISP(七) CMOS图像传感器内部结构及工作原理

随着工艺的发展,CMOS图像传感器的性能已经赶上或超越CCD,再加上CMOS图像传感器在工艺上能很大程度与传统CMOS芯片兼容,它已经成为相机的主流传感器类型。由于只能硬件的迅猛发展,很多应用场景都将碰到CMOS传感器,因此本文从基础出发,介绍CMOS图像传感器的像素结构。

一、图像传感器整体架构

CMOS图像传感器本质是一块芯片,主要包括:感光区阵列(Bayer阵列,或叫像素阵列)、时序控制、模拟信号处理以及模数转换等模块(如图1)。其中,各模块的作用分别为:

像素阵列:完成光电转换,将光子转换为电子。
时序控制:控制电信号的读出、传递。
模拟信号处理(ADC):对信号去噪。(如用CDS去除reset noise、fpn等)

ISP(七) CMOS图像传感器内部结构及工作原理_第1张图片图1.1 CMOS传感器示例

其中,像素阵列占整个芯片的面积最大,像素阵列是由一个个像素组成,它对应到我们看到每张图片中的每个像素。每个像素包括感光区和读出电路(后面小节会详细讨论),每个像素的信号经由模拟信号处理后,交由ADC进行模数转换后即可输出到数字处理模块。像素阵列的信号读出如下(参考图1.2):

1、 每个像素在进行reset,进行曝光。

2、 行扫描寄存器,一行一行的激活像素阵列中的行选址晶体管。

3、 列扫描寄存器,对于每一行像素,一个个的激活像素的列选址晶体管。

4、 读出信号,并进行放大。
ISP(七) CMOS图像传感器内部结构及工作原理_第2张图片图1.2 CMOS传感器信号读出示意图

二、图像传感器像素结构

CMOS传感器上的主要部件是像素阵列,这是其与传统芯片的主要区别。每个像素的功能是将感受到的光转换为电信号,通过读出电路转为数字化信号,从而完成现实场景数字化的过程。像素阵列中的每个像素结构是一样的,如图2.1是典型的前照式像素结构,其主要结构包括:

1、 On-chip-lens:该结构可以理解为在感光元件上覆盖的一层微透镜阵列,它用来将光线聚集在像素感光区的开口上。可以增加光电转化效率,减少相邻像素之间的光信号串扰。

2、 Color filter:该结构是一个滤光片,包括红/绿/蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。该滤光片结构的存在,使得每个像素只能感应一种颜色,另外的两种颜色分量需要通过相邻像素插值得到,即demosaic算法。

3、 Metal wiring:可以为金属排线,用于读出感光区的信号(其实就是像素内部的读出电路)。

4、 Photodiode:即光电信号转换器,其转换出的电信号会经过金属排线读出。

ISP(七) CMOS图像传感器内部结构及工作原理_第3张图片图2.1 像素结构

其中,Photodiode和Metal wiring对CMOS传感器的性能影响最大(比如光电转换效率,读出噪声等),也是目前主流传感器厂商注重提高的工艺。为了方便叙述,下面将Photodiode和Metal wiring简称为Pixel(即包括每个像素内的感光区域和读出电路)。

Passive Pixel

最简单的Pixel结构只有一个PN结作为photodiode感光,以及一个与它相连的reset晶体管作为一个开关(如图2.2)。它的工作方式如下:

1、 在开始曝光之前,该像素的行选择地址会上电(图中未画出),从而RS会激活,连通PN结与column bus。同时列选择器会上电,此时PN结会被加载高反向电压(例如3.3 V)。在Reset(即PN结内电子空穴对达到平衡)完成后,RS将会被停止激活,停止PN结与column bus的连通。

2、 在曝光时间内,PN结内的硅在吸收光线后,会产生电子-空穴对。由于PN结内电场的影响,电子-空穴对会分成两个电荷载体,电子会流向PN结的n+端,空穴会流向PN结的p-substrate。因此,经过曝光后的的PN结,其反向电压会降低。

3、 在曝光结束后,RS会被再次激活,读出电路会测量PN结内的电压,该电压与原反向电压之间的差,就是PN结接受到的光信号。(在主流sensor设计中,电压差与光强成正比关系)在读出感光信号后,会对PN结进行再次reset,准备下次曝光。

ISP(七) CMOS图像传感器内部结构及工作原理_第4张图片 图2.2 像素结构

这种像素结构,其读出电路完全位于像素外面,称为Passive Pixel。Passive Pixel的读出电路简单,整个Pixel的面积可以大部分用于构造PN结,所以其满阱电容一般会高于其他结构。但是,由于其信号的读出电路位于Pixel外面,它受到电路噪声的影响比Active Pixel(下一节会介绍)大。Passivel Pixel噪声较大有2个主要原因:

1、 相对读出电路上的寄生电容,PN结的电容相对较小。代表其信号的电压差相对较小,这导致其对电路噪声很敏感。

2、 如图2.3(b),PN结的信号,先经过读出电路,才进行放大。这种情况,注入到读出信号的噪声会随着信号一起放大。

ISP(七) CMOS图像传感器内部结构及工作原理_第5张图片
图2.3 Active Pixel和Passive Pixel噪声注入对比

Active Pixel

Active Pixel指的是在像素内部有信号读出电路和放大电路的像素结构。如图2.3(a),信号传出Pixel之前,就已经读出并放大,这减少了读出信号对噪声的敏感性。随着工艺的发展,基于Active Pixel的CMOS传感器在暗电流和噪声表现上有很大提升,Active Pixel结构随之成为了CMOS传感器的主流设计。

图2.4展示了基于PN结的Active Pixel结构,也成为3T像素结构(每个像素包含3个三极管)。在这种结构中,每个像素包含一个PN结作为感光元件,一个复位三极管RST,一个行选择器RS,以及一个信号放大器SF。其工作方式和Passive Pixel类似:

1、 复位。给PN结加载反向电压,或者说激活RST给PN结进行复位。复位完成后,不再导通RST。

2、 曝光。和在Passive Pixel中一样,光子打到PN结及硅基,被吸收后产生电子-空穴对。这些电子空穴对通过电场移动后,减小PN结上的反向电压。

3、 读出。在曝光完成后,RS会被激活,PN结中的信号经过运放SF放大后,读出到column bus。

4、 循环。读出信号后,重新复位,曝光,读出,不断的输出图像信号。

ISP(七) CMOS图像传感器内部结构及工作原理_第6张图片
图2.4 PN结像素结构

基于PN结的Active Pixel流行与90年代中期,它解决了很多噪声问题。但是由PN结复位引入的kTC噪声,并没有得到解决。为了解决复位kTC噪声,减小暗电流,引入了基于PPD结构(Pinned Photodiode Pixel)的像素结构。PPD pixel包括一个PPD的感光区,以及4个晶体管,所以也称为4T像素结构(如图2.5)。PPD的出现,是CMOS性能的巨大突破,它允许相关双采样(CDS)电路的引入,消除了复位引入的kTC噪声,运放器引入的1/f噪声和offset噪声。
ISP(七) CMOS图像传感器内部结构及工作原理_第7张图片图2.5 PPD像素结构

对比图2.4和2.5,发现示意图右边的结构基本一致。但他们的功能有明显差异,对于PPD,右边部分电路只是信号读出电路。读出电路与光电转换结构通过TX完全隔开,这样可以将光感区的设计和读出电路完全隔离开,有利于各种信号处理电路的引入(如CDS,DDS等)。另外,PPD感光区的设计采用的是p-n-p结构,减小了暗电流。PPD像素的工作方式如下:
  
1、 曝光。光照射产生的电子-空穴对会因PPD电场的存在而分开,电子移向n区,空穴移向p区。

2、 复位。在曝光结束时,激活RST,将读出区(n+区)复位到高电平。

3、 复位电平读出。复位完成后,读出复位电平,其中包含运放的offset噪声,1/f噪声以及复位引入的kTC噪声,将读出的信号存储在第一个电容中。

4、 电荷转移。激活TX,将电荷从感光区完全转移到n+区用于读出,这里的机制类似于CCD中的电荷转移。

5、 信号电平读出。接下来,将n+区的电压信号读出到第二个电容。这里的信号包括:光电转换产生的信号,运放产生的offset,1/f噪声以及复位引入的kTC噪声

6、 信号输出。将存储在两个电容中的信号相减(如采用CDS,即可消除Pixel中的主要噪声),得到的信号在经过模拟放大,然后经过ADC采样,即可进行数字化信号输出。

由于PPD像素结构在暗电流和噪声方面的优异表现,近年来市面上的CMOS传感器都是以PPD结构为主。但是,PPD结构有4个晶体管,有的设计甚至有5个,这大大降低了像素的填充因子(即感光区占整个像素面积的比值),这会影响传感器的光电转换效率,进而影响传感器的噪声表现。
在PPD结构中,像素的感光区和读出电路由TX晶体管隔开,相邻像素减可以共用读出电路(如图2.6)。图2.6所示的2x2像素共享读出电路,一共有7个晶体管,平均一个像素1.75个晶体管。这样可以大大减少每个像素中读出电路占用的面积,可以提高填充因子,这样可以使得像素面积更小(比如1微米)。然而,由于这2x2个像素的结构不再一致,会导致固定模式噪声的出现(FPN),这需要在后续图像处理中消除。

ISP(七) CMOS图像传感器内部结构及工作原理_第8张图片
图2.6 共享读出电路的PPD像素结构

三、CMOS sensor内部结构及平面构造(floorplan)

ISP(七) CMOS图像传感器内部结构及工作原理_第9张图片

光电二极管具有正向导通反向截止的特殊,反向的特性还有个电容的特性,当在二极管上加反向偏置电压时,就会给电容充电,当电容充满电荷之后,光子的射入会导致内部激发出新的电子 空穴对,与原来充电形成的电子空穴对进行配对放电,形成光电流I_ph,光电流I_ph给右侧的电容充电变成一个电压输出

ISP(七) CMOS图像传感器内部结构及工作原理_第10张图片

四、光子(Photon)与量子效率(quantum efficiency)

自然界中有不同频率的光线,如果我们简单来说分成RGB三种频率的光线,由于RGB的频率不同,所载有的能量也是不同的,以蓝光子为例,所载有的能量为4.41E-19焦耳,单个光子的能量E=hc/普朗克常量,那么一束光子的能量就等于所有光子能量的总和Total_Power=sum_of(all photons)。量子效率QE定义为,在一个camera sensor里面,经过color filter透射过来的光子转变成电荷的的效率,如果透射过来三个光子,产生出来一个电子空穴对,那么这个效率就是1/3.

ISP(七) CMOS图像传感器内部结构及工作原理_第11张图片

QE是衡量某个颜色通道某个频率/波长的光子转换成电子的效率,在不同的波长上QE是不一样的。
camera sensor可以感受近红外的波段,这个不符合人眼视觉的感受的,需要用IR cut把近红外的波段去除掉,否则红色通道感光就会过强,这样出来的图像就会偏红。像素不能够被一个颜色的光激发的现在叫crosstalk,理想情况crosstalk为0。

sensitivity感光度:同样的光子能够激发出的电荷
sensitivity=QE*pixel_size QE越高激发出来的电荷越多,pixel_size越大激发出来的电荷越多

ISP(七) CMOS图像传感器内部结构及工作原理_第12张图片

五、感光过程、读取过程及动态范围

ISP(七) CMOS图像传感器内部结构及工作原理_第13张图片

ISP(七) CMOS图像传感器内部结构及工作原理_第14张图片

ISP(七) CMOS图像传感器内部结构及工作原理_第15张图片

你可能感兴趣的:(ISP,CMOS图像传感器,工作原理,结构,图像传感器工作原理,ISP芯片)