【Camera】Camera基础概念

CCD与CMOS Sensor是当前被普遍采用的两种影像感测组件，基本上两者都是利用感光二极管（photodiode）进行光与电的转换，将影像转换为数字信息，而其主要差异则在数字信号传送方式的不同。

CCD传感器每一行中每一个像素（pixel）的电荷信号都会依序传送到下一个像素中，由最底端的部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个像素都会连接一个放大器及模/数转换电路，用类似内存电路的方式将信号输出。

造成这种差异的原因，在于CCD的特殊制程可保持信号在传输时不会失真，因此各个像素的信息可集合至边缘处再做放大处理；而CMOS制程的数据在传送较长的距离时会产生噪声，因此必须先行放大再整合各个像素的数据。
由于数据传送方式不同，因此CCD与CMOS传感器在成像效果与应用上也有不少差异，这些差异包括灵敏度、成本、分辨率、噪声与耗电量等。

注意：以下只针对CMOS sensor进行介绍.

1 sensor

Global shutter 比Rolling shutter硬件上会多一个FIFO去存一帧的数据.

上述左图就是果冻现象.

果冻的形成是摄影机本身的特性决定的，使用CMOS传感器的相机多数使用卷帘快门，它是通过图像传感器逐行曝光的方式实现的。在曝光开始的时候，图像传感器逐行扫描逐行进行曝光，直至所有像素点都被曝光。当然，所有的动作在极短的时间内完成，一般不会对拍摄造成影响。但如果被拍摄物体相对于相机高速运动或快速振动时。用卷帘快门方式拍摄，逐行扫描速度不够，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。这种卷帘快门方式拍摄出现的现象，就定义为果冻效应。

1.1 Global Shutter

通过整幅场景在同一时间曝光实现的。Sensor所有像素点同时收集光线，同时曝光。即在曝光开始的时候，Sensor开始收集光线；在曝光结束的时候，光线收集电路被切断。然后Sensor值读出即为一幅照片。CCD就是Global shutter工作方式。所有像元同时曝光。

1.2 Rolling Shutter

与Global shutter不同，它是通过Sensor逐行曝光的方式实现的。在曝光开始的时候，Sensor逐行扫描逐行进行曝光，直至所有像素点都被曝光。当然，所有的动作在极短的时间内完成。不同行像元的曝光时间不同。

50HZ,60HZ 水波纹.rollingShutter 的曝光原理 决定了其水波纹的存在.Global shutter 的出现是了解决果冻效应.但是其也存在另外一种忽闪忽暗的水波纹.

2 3A

2.1 AE

自动曝光.

自动曝光的是为了使感光器件获得合适的曝光量。曝光是指光线强度乘以光线到达sensor所作用的时间。光线强度是一种物理术语，指单位面积所接受光的光通量或者说是sensor受到光线照射的强度，即照度。光线所作用的时间是指感光胶片接收到光线照射的时间，即曝光时间。曝光量以E表示，单位勒克斯（Lux或lx）。若要取得一定量的曝光量，光强度和曝光时间成反比关系。

一般的算法通过获取图像的亮度调节相应的曝光参数，得到合适的曝光量. 曝光参数包括光圈大小, 快门速度和摄像头传感器的亮度增益。

计算公式如下：

曝光强度 = 曝光时间 * 光圈大小 * ISO（ISO表示图像增益/对应的就是驱动里面的Again /Dgain 和ISP gain）

自动曝光的标准:

在此之前需要了解物体的亮度与色彩是由物体对光线的反射率来决定的。例如纯黑色的放射率是0，纯白色的反射率是100%，处于中间的灰度的反射率是18%，这就是18%中间灰度。

具有一定反射率的物体在最终的图像中被还原到了其相应的灰度级，这就意味着达到了正确的曝光。例如摄影师们通常在拍摄之前使用中性灰卡测试曝光是否正常。

但是相机在各种场景下无法识别物体的反射率，因此采用了一个简单粗暴而又行之有效的方法，统一将图像整体平均亮度设置为中性灰的亮度。该方法基于科学家认为自然界的平均反射率是18%这一理论。当然，这个方法也不是走遍天下都不怕，比如拍摄雪景时需要增加曝光补偿，不然会偏暗，因为雪景的亮度远远大于中性灰度。这也就是摄影中的一句口诀的由来“白增黑减”。

自动曝光是否准确，最重要的是对环境光的测量，估计出光照强度。目前常用的测光方式包括中央重点平均测光、中央部分测光、点测光等。此外，面对逆光或强正面光 的高对比度场景

2.2 AF

AF是Automatic Focus 自动对焦的英文缩写，泛指相机以特定区域（一般指中央，但现在的系统已经可以指定在观景窗内看到的任何一点角落），进行测距、进而调整镜头中镜片形成焦点，使照相机内的影像看起来清晰之设计；相对于 MF 手动对焦，AF 已经成为现代相机科技的标准用语。

2.3 AWB

自动白平衡 在不同色温下，白色图片会呈现出不同的颜色，白平衡就是为了使白色尽可能的还原成白色。通俗点将白色就是白色的意思.

3 HDR

HDR 诞生的前提，如果一张图只有一个曝光基准的话，那么会出现两种情况,太暗的位置无法获取到暗处的细节.太亮的位置丢失暗处的细节.

这个时候HDR的技术就诞生了.(超夜算法也是与此相似的工作原理,只不过超夜是暗处细节的图多)

高动态范围图像（High-Dynamic Range，简称HDR），相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR（Low-Dynamic Range，低动态范围图像），并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好地反映出真实环境中的视觉效果。

人眼具有自适应.HDR动态范围广.

3.1 长短曝光行

通过长曝光行和短曝光行合成一张HDR的图.

3.2 帧合成

通过三张或者多张图合成（欠曝,正常,过曝）.上述示例图就是通过帧合成的方式实现的.

4 效果概念

4.1 OB

Optical Black

黑电平（Black Level Correction）也就是黑色的最低点，以8bit数据来说，指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。

1.CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例，单个pixel的有效值是0~255，但是实际AD芯片（模数转换芯片）的精度可能无法将电压值很小的一部分转换出来，因此，sensor厂家一般会在AD的输入之前加上一个固定的偏移量，使输出的pixel value在5（非固定）~255之间，目的是为了让暗部的细节完全保留，当然同时也会损失一些亮部细节，由于对于图像来说，我们的关注度更倾向于暗部区域，ISP后面会有很多增益模块（LSC、AWB、Gamma等），因此亮区的一点点损失是可以接受的。
2.sensor的电路本身会存在暗电流，导致在没有光线照射的时候，像素单位也有一定的输出电压，暗电流这个东西跟曝光时间和gain都有关系，不同的位置也是不一样的。因此在gain增大的时候，电路的增益增大，暗电流也会增强，因此很多ISP会选择在不同gain下减去不同的bl的值。

4.2 CCM

和AWB是两个概念.

颜色校正
由于各个颜色块之间的相互渗透带来颜色差，将拍摄到图片与原相片对比，得到一个像素矩阵。在以后的图像传感器中，都利用这个像素矩阵来使原图片与拍摄到的图片尽量一致。

上述右图是CCM校正后.明显看到颜色鲜明了很多.

GMA：人眼对亮度的感知时非线性的，gamma校正是为了模拟人眼对亮度的感知。
ANR：YUV（图片格式）域降噪模块。
EE：YUV域蜕化模块（锐化增强图片边缘细节）
ANR2：YUV降噪的2次处理。
HFG：高频率产生器，增加图像颗粒感，增强细节。
COLOR：调整布局色彩。

4.3 lens shading

用在镜头上，特指画面四角由于入射光线不足形成的暗角，Lens Shading，同时，由于不同色彩的光折射率差别，还有color shading。因此在数码时代又有了镜头校正(Lens Shading Correction)。lens shading分为两种luma shading(亮度阴影)和color shading(色彩偏差)。

1. luma shading
   产生的原因是镜头的通光量从中心到边角依次较少，导致图像看起来，中间亮度正常，四周偏暗。由于Lens的光学特性，Sensor影像区的边缘区域接收的光强比中心小，所造成的中心和四角亮度不一致的现象。镜头本身就是一个凸透镜，由于凸透镜原理，中心的感光必然比周边多。
2. chrom/color shading
   由于各种颜色的波长不同，经过了透镜的折射，折射的角度也不一样，因此会造成color shading的现象，这也是为什么太阳光经过三棱镜可以呈现彩虹的效果。