图像传感器（摄像机技术）

1873年，当时科学家约瑟·美(Joseph May)及伟洛比·史密夫(WilloughbySmith)就发现了硒元素结晶体感光后能产生电流，这是电子影像发展的开始。以后陆续有组织和学者研究电子影像，发明了几种不同类型的图像传感器。其中重要的发明有20世纪50年代诞生的光学倍增管(Photo Multiplier Tube，简称PMT)和70年代出现的电荷耦合装置(Charge Coupled Device，简称CCD)。

20世纪末，又有三种新型的图像传感器问世了，它们分别是互补氧化金属半导体(Complementary Metal Oxide Semiconductor，简称CMOS)、接触式图像传感器(Contact lmage Sensor，简称CIS)和LBCAST 传感器系统(Lateral Buried Charge Accumulator, Sensing Transistor Array)。

 

1、PMT

从五十年代发展到现在，PMT是最早出现的图像传感器，技术已经非常成熟，是目前性能最好的传感器。它就像一个圆柱体小灯泡，直径约一寸，长度约二寸；内置多个电极，将进入的光信号转化为电信号，即使很微弱的光线也可准确补捉。其最高动态范围可达4.2，相对于其它类型只能达到3.2-3.6的传感器，PMT要胜出不少；而且它非常耐用，可以运作十万小时以上。但是由于其造价相当高，只能应用于专业的印刷、出版业扫描仪及工程分析。

类似小灯泡的传感器“PMT”。

2、CCD

CCD是美国贝尔实验室于1969年发明的，与电脑晶片CMOS技术相似，也可作电脑记忆体及逻辑运作晶片。CCD是一种特殊的半导体材料，由大量独立的感光二极管组成，一般这些感光二极管按照矩阵形式排列(富士公司的Super CCD除外)。CCD的感光能力比PMT低，但近年来CCD技术有了长足的进步，又由于CCD的体积小、造价低，所以广泛应用于扫描仪、数码相机及数码摄像机中。目前大多数数码相机采用的图像传感器都是CCD。

早期的CCD是隔行扫描（隔行传输(Interline Transfer)）的，这样可以提高快门速度，但图像精度大为降低。新的CCD一般都是逐行扫描（全帧传输(FullFrame Transfer)）的。

它在一块半导体上集成制造出感光器件：光电二极管和一些电路。每个单元呈整齐的矩阵式排列，CCD像素＝行数乘以列数。每个像素单元中有大约30％的面积用来制造光电二极管，在剩余的可用面积中，会放置一个转移寄存器。在接受一个指令后，光电二极管感受到的光强，会被放置在这个转移寄存器中并暂时存储在这里，这是一个模似信号。接着就是把这每一个像素中的光强值，变成数字信号，再由相机中的处理器组合成一幅数字图像。由于每个像素单元中，真正用于感光的面积只占30％左右，所以它的感光效率比较低。所以在真正的成品中，会在每个像素单元的上面，再放一个小的光学镜片，我们把它叫做“微透镜”。微透镜在光电二极管的正上方，面积造得比较大，这样就能把更多的入射光集中到光电二极管上，使等效的感光面积达到像素面积的70％左右。

原色CCD和补色CCD：实际上CCD本身是不能分辨颜色的，所以，在实际应用时需要使用色彩滤镜，一般地就是在CCD器件的滤镜层涂上不同的颜色。滤镜上不同的色块按G-R-G-B(绿-红-绿-蓝)的顺序象马赛克一样排列，使每一片“马赛克”下的像素感应不同的颜色。

例如，在一个130万像素的CCD上，有325000个像素感应红色，325000个像素感应蓝色，650000个像素感应绿色。在一个使用这种CCD的分辨率为1280x1024的数码相机中，有640x512个红色像素、640x512个蓝色像素和640x1024个绿色像素，绿色像素多一点，是因为人类眼睛对绿色的敏感性和对其它颜色不一样。最后在记录图像时，每个像素的真实色彩就是它与周围像素象混合的平均值。目前大多数数码相机都是采用这种CCD。而补色CCD使用了另一种排列方式的滤镜，它的颜色是直接涂在CCD表面的，其色彩是按C-Y-G-M(青-黄-绿-洋红)的顺序排列的，每个像素的最终颜色也是取其与周围像素的平均值，但这种算法更为复杂一些。在一个分辨率为1280x1024的使用这种CCD的数码相机中，有640 x 512个青色像素，640x512个黄色像素640x512个绿色像素以及640x512个洋红色像素。佳能的早期数码相机，比如PowerShot Pro70、PowerShot A50就是采用了这种CCD。

线性CCD，不同于矩阵CCD，可能感光元件线性排列，所以是条状。下图来自条形码扫描枪。

 

3、CMOS

CMOS直到1998年它才被用于制作图像传感器。CMOS的优点是结构比CCD简单，耗电量只有普通CCD的1/3左右，而且制造成本比CCD要低。自从佳能公司在专业数码单反相机EOS D30中采用了CMOS以来，已经有越来越多的数码单反相机使用它，目前数码单反相机中几乎有一半采用CMOS作为图像传感器。

4.CCD与CMOS的比较

CCD存储的电荷信息，需在同步信号控制下一位一位地实施转移后读取，电荷信息转移和读取输出需要有时钟控制电路和三组不同的电源相配合，整个电路较为复杂，速度较慢。CMOS光电传感器经光电转换后直接产生电压信号，信号读取十分简单，还能同时处理各单元的图像信息，速度比CCD快得多。

CCD与CMOS两种传感器在“内部结构”和“外部结构”上都是不同的。CCD器件的成像点为X－Y纵横矩阵排列，每个成像点由一个光电二极管和其控制的一个电荷存储区组成；CCD仅能输出模拟电信号，输出的电信号还需经后续地址译码器、模数转换器、图像信号处理器处理，并且还需提供三相不同电压的电源和同步时钟控制电路。CMOS器件的集成度高、体积小、重量轻，它最大的优势是具有高度系统整合的条件，因为采用数字——模拟信号混合设计，从理论上讲，图像传感器所需的所有功能，如垂直位移、水平位移暂存器、传感器阵列驱动与控制系统（CDS）、模数转换器（ADC）接口电路等完全可以集成在一起，实现单芯片成像，避免使用外部芯片和设备，极大地减小了器件的体积和重量。

从功耗和兼容性来看，CCD需要外部控制信号和时钟信号来获得满意的电荷转移效率，还需要多个电源和电压调节器，因此功耗大；而CMOS-APS使用单一工作电压，功耗低，仅相当于CCD的1/10-1/100，还可以与其他电路兼容，具有功耗低、兼容性好的特点。

CCD传感器需要特殊工艺，使用专用生产流程，成本高；而CMOS传感器使用与制造半导体器件90％的相同基本技术和工艺，且成品率高，制造成本低，目前用于摄像的50万像素的CMOS传感器不到10美元。

CCD使用电荷移位寄存器，当寄存器溢出时就会向相邻的像素泄漏电荷，导致亮光弥散，在图像上产生不需要的条纹。而CMOS-APS中光探测部件和输出放大器都是每个像素的一部分，积分电荷在像素内就被转为电压信号，通过X-Y输出线输出，这种行列编址方式使窗口操作成为可能，可以进行在片平移、旋转和缩放，没有拖影、光晕等假信号，图像质量高。

高速性是CMOS电路的固有特性，CMOS图像传感器可以极快地驱动成像阵列的列总线，并且ADC 在片内工作具有极快的速率，对输出信号和外部接口干扰具有低敏感性，有利于与下一级处理器连接。CMOS图像传感器具有很强的灵活性，可以对局部像素图像进行随机访问，增加了工作灵活性。

 

5.成像系统要素

1.视场：能够在显示器上看到的物体上的部分·分辨率：能够最小分辨的物体上两点间的距离（见第？点人眼分辨距离）

2.景深：成像系统能够保持聚焦清晰的最近和最远的距离之差。

3.工作距离：观察物体时，镜头最后一面透镜顶点到被观察物体的距离。

4.畸变：由镜头所引起的光学误差，使得像面上各点的放大倍数不同，导致变形

5.视差：是由传统镜头引起的，在最佳聚焦点外物体上各点的变化，远心镜头可以解决此题。

6.图像传感器尺寸：图像传感器（一般是 CCD 或 CMOS ）有效的工作区域，一般指的是水平尺寸。对所希望的视场来说，这个参数对决定预先放大倍数（ PMAG ）是很重要的。多数图像传感器的长度与宽度之比是 4:3

7.预放大倍数：是指视场与图像传感器尺寸的比值，这个过程是由镜头来完成的。

8.系统放大倍数：是指显示器上的图像与实际物体大小的比值，也就是整个系统的放大倍数。它也可以写成预放大倍数与电子放大倍数的乘积，而电子放大倍数则是显示器尺寸与图像传感器尺寸的比值。

9.分辨率：分辨率的大小表征了对物体上细节的辨别能力，下图简单的说明了物体上的两个方块区域成像到 CMOS/CCD相机上。可以看出，因为图像传感器上像素间的距离已经确定，如果想要区分物体上很近的两点，它们之间必须隔开一定的距离。

 

6.图像/视频数据量的计算

图片分辨率定义（CCD/CMOS传感器感光元件个数）： 

CIF：  352*288=10万像素；  

DCIF： 512*384=20万像素；  

D1(4CIF)：   704*576=40万像素；

720P： 1280*720=100万像素；  

1080P：1920*1080=200万像素；

计算机真彩像素点按RGB三色原理存储，红黄蓝每种颜色256种（2的8次方，一个字节长度），所以一个像素点需要3个字节24个比特位。现在计算容量大了，存储时再RGB基础上增加一个256种灰度，所以需要4个字节，也就是32位，这样的像素点现在也叫真彩。两种真彩其实肉眼识别不去差别。

比特率是指每秒传送的比特 (bit) 数。单位为 bps(bit Per second) ，比特率越高，传送的数据越大。比特率表示经过编码 ( 压缩 ) 后的音、视频数据每秒钟需要用多少个比特来表示，而比特就是二进制里面最小的单位，要么是 0 ，要么是 1 。比特率与音、视频压缩的关系，简单的说就是比特率越高，音、视频的质量就越好，但编码后的文件就越大；假如比特率越少则情况恰好相反。

码流 (DataRate) 是指视频文件在单位时间内使用的数据流量，也叫码率，是视频编码中画面质量控制中最重要的部分。同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。

1、   720P单幅图像数据量 = 1280 × 720 × 24/8/1024 ＝ 2700  KByte。

2、   活动图像的数据量

国内 PAL 活动图像是每秒传输 25 帧。 数字动态图像是由 I 帧 /B 帧 /P 帧构成。其中 I 帧是参考帧： 可以认为是一副真实的图像照片。 B 帧和 P 帧可简单理解为预测帧， 主要是图像的增量变化数据，数据量一般较小。

极限情况下， 25 帧均为 I 帧，即每帧传输的图像完全不同。则：

720P 活动图像的每秒传输的极限数据量 = 2700 KByte × 25 = 67500 KByte/s

转换成网络传输 Bit 流 = 67500 × 8 = 540000 Kbit/s（即Kbps） ，即 528M 的带宽。

在实际视频会议应用中， 由于有固定场景， 因此以传输增量数据为主 （传输以 B 帧和 P 帧为24，I帧为1） ，一般在 10%-40%  之间， 40% 为变化较多的会议场景。 假设增量数据在 20% 的情况下，计算如下：

原始数据量 = 2700 KByte × 20% × 24  + 2700 KByte =15660 KByte/s = 123 Mbit/s

3、   H.264 压缩净荷数据量

H.264 最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下， H.264 的压缩比是 MPEG-2 的 2 倍以上，是 MPEG-4 的 1.5 ～ 2 倍。举个例子，原始文件为 88GB ，采用MPEG-2 压缩后 为 3.5GB ， 压缩比为 25 ∶ 1 ， 而采用 H.264 压缩后为 1.1GB ，从 88GB 到 1.1GB ，H.264 的压缩比达到惊人的 80 ∶ 1 

视频会议中都对原始码流进行编解码压缩。采用 H.264 ，压缩比取 80 ： 1 。计算如下：

在 20% 的情况下，压缩后的净荷数据量 = 123/80 = 1.6 Mbit/s

4、   采用 H.264 压缩后的传输数据量

加上网络开销，传输数据量 =  净荷数据量   * 1.3

在 20% 的情况下，压缩后的传输数据量 = 1.6 * 1.3 = 2.08 Mbit/s

5、家用监控存储量

带宽计算：

CIF 视频格式的所需带宽：512Kbps( 视频格式的比特率 ) × 50( 监控点的摄像机的总路数之和 )=25Mbps( 下行带宽 ) 即：采用 CIF 视频格式监控中心所需的网络下行带宽至少 25Mbps

D1 视频格式的所需带宽：1.5Mbps( 视频格式的比特率 ) × 50( 监控点的摄像机的总路数之和 )=75Mbps( 下行带宽 ) 即：采用 D1 视频格式监控中心所需的网络下行带宽至少 75Mbps

720P(100 万像素 ) 的视频格式的所需带宽：2Mbps( 视频格式的比特率 ) × 50( 监控点的摄像机的总路数之和 )=100Mbps( 下行带宽 ) 即：采用 720P 的视频格式监控中心所需的网络下行带宽至少 100Mbps

1080P(200 万像素 ) 的视频格式的所需带宽：4Mbps( 视频格式的比特率 ) × 50( 监控点的摄像机的总路数之和 )=200Mbps( 下行带宽 ) 即：采用 1080P 的视频格式监控中心所需的网络下行带宽至少 200Mbps

存储空间计算：

码流大小 ( 单位： KB/s ；即：比特率 ÷ 8) × 3600( 单位：秒； 1 小时的秒数 ) × 24( 单位：小时；一天的时间长 ) × 30( 保存的天数 ) × 50( 监控点要保存摄像机录像的总数 ) ÷ 0.9( 磁盘格式化的损失 10% 空间 )= 所需存储空间的大小 ( 注：存储单位换算 1TB=1024GB ； 1GB=1024MB ； 1MB=1024KB)

50 路存储 30 天的 CIF 视频格式录像信息的存储空间所需大小为：64 × 3600 × 24 × 30 × 50 ÷ 0.9=8789.1GB ≈ 9TB

50 路存储 30 天的 D1 视频格式录像信息的存储空间所需大小为：192 × 3600 × 24 × 30 × 50 ÷ 0.9=26367.2GB ≈ 26TB

50 路存储 30 天的 720P(100 万像素 ) 视频格式录像信息的存储空间所需大小为：256 × 3600 × 24 × 30 × 50 ÷ 0.9=34.33GB ≈ 35TB
50 路存储 30 天的 1080P(200 万像素 ) 视频格式录像信息的存储空间所需大小为：512 × 3600 × 24 × 30 × 50 ÷ 0.9=68.66GB ≈ 69TB

 

 

7、人眼分辨率

 

 

8、快门、曝光时间

拍的一脸糊照主要和两个原因有关，一是对焦不准，二是快门速度跟不上物体的运动速度。

说到这里，就不得不说一下快门了。快门是一种控制相机曝光时间的装置，可以理解为一个小黑屋里唯一的一扇窗，控制窗的开关，就可以决定阳光透过窗照进来的时间长短。也就是说，快门开启时间越长，进入相机的光线越多，感光片有效曝光时间越长；反之，快门开启的时间越短，进入相机的光线就越少，感光片的有效曝光时间越短。

在摄影技术发明之初，曝光时间通常需要好几分钟。所以拍照开始时由摄影师人为将镜头盖取下，过几分钟后再盖上，即完成了一次曝光拍照。但随着技术的发展，胶片的感光速度越来越快，曝光时间也越来越短，甚至短到了几百分之一秒，人为操作远远不能满足曝光需求了。所以，快门作为一种能准确控制曝光时间的装置便代替了操作镜头盖的曝光方式。

 

（相机的快门有两道闸门，分别是：前帘（靠近镜头的闸门）、后帘（靠近传感器的闸门）。在进行拍摄时，后帘从下往上打开，此时前帘还是闭合的，所以不会有光进入。然后前帘从上往下打开，画面从上往下进行曝光。等曝光结束后，后帘就从上往下闭合，整个曝光过程结束。等到前帘闭合后，就可以进行下一次曝光了。| 图源：sohu.com）

相机之所以有两个快门帘，就是为了能从上往下曝光，也能从上往下结束曝光。如果相机只有一个前帘，那么是从上往下开始曝光，当曝光结束就要从下往上，这就会导致上面的曝光比下面多。当你使用非常快的快门速度进行拍摄时，画面的上下部分就会出现比较明显的不一样的情况。

说回拍照，其实曝光过程就是要定格那时那刻所拍摄的画面成为照片，如果快门很快，就可以做到瞬间定格画面，呈现的画面也较清晰。但如果快门慢，曝光时间长，相机就会把运动物体——比如你家主子的运动轨迹保留在画面中，所以照片里会出现拖影。所以拍运动物体时快门一般要调到很快，而专门拍摄光轨等需要显示轨迹的图片时就要把曝光时间调得很长了。

 

举个例子，假如你家喵小主在踱步，如果你要用1秒的慢快门拍摄，那么曝光时间内主子会走出一至两步的距离，拍出来的照片就会有拖影。但如果你用1/1000秒的快门拍摄，主子即便再灵活，又能跑得出多远呢？所以拍出来的照片就会很清晰了。

Tips1：快门速度要快以及不要手抖

一台可以手动调节快门的相机，一般都有“1/2/、1/15、1/30、1/60、1/250……”这样的快门数值设置。这些数值需要依照不同的拍摄场景来选取，比如当你要拍摄慢跑的人或相似速度的场景时，比1/250s慢的快门都有可能造成不同程度的模糊。（这仅是一个参考值，快门设置还和现场光线、焦段和相机的防抖性能差异相关。）

（常见的速度快门对应表 | 图源：mrlyu.com）

Tips2：避免跑焦以及不要手抖

在按下快门前，记得检查焦点是否正确聚焦在想要拍摄的对象上，半按快门对焦，然后平面移动构图并按下快门拍摄画面。但对于大部分的新手来说，移动构图的过程中常会造成焦点偏移，自然会因为脱焦而造成对焦点模糊。

当我们遇到活泼好动、不断变换位置的拍摄对象时，我们最好选择连续自动对焦模式+陷阱对焦的双重保险方式来捕捉合焦率更高的照片。连续自动对焦功能在拍摄焦平面变化不大的移动物体时，效果比较好，而拍摄不断运动的物体，往往合焦失败情况较多。因此在拍摄可预见运动轨迹的移动物体时，可使用“陷阱对焦”（即在选定位置对好焦等待主子进入“攻击范围”后，再按动快门合焦）的方式，开启连拍进行高速捕捉。

 

 

 

 

参考文献：

1、深入浅出安防视频监控系统 - 百度文库  https://wenku.baidu.com/view/ab297ffe910ef12d2af9e7ae.html

2、《现代光学基础-钟锡华》

3、https://mp.weixin.qq.com/s/3KVVRcjXq-zsHCqDjzKBLA