相机基础及分类

相机基础概述

相机是机器视觉的基础，相机直接产生了相机数据。所有视觉算法都是作用在相机数据上的。相机数据的好坏，或者对相机数据的理解方式，直接决定了视觉算法的效果。

世界中的光线被检测到，于是产生了视觉。光线从某种发射源（如灯管、太阳）发射出射线，穿过空间照射到某个物体上。此时，大部分光线被吸收，我们认为没有被吸收的光线就是物体的颜色，这些光线反射进入我们的眼睛（或相机），被我们的视网膜（或图像采集器）吸收。

光线从物体发射开始，通过透镜到达眼睛或相机，然后到达视网膜或图像采集器的几何过程，是计算机视觉应用实现的重要部分。

可以说：机器视觉是建立在对相机成像过程的深刻理解的基础之上的。

相机分类

依据相机数据维度的不同，相机分为两类，

• 2D相机，可以产生图像数据，包括灰度图，彩色图等
• 3D相机，可以产生图形数据，包括深度图，点云图等

2D相机

• CCD相机
• CMOS相机

3D相机

根据相机的工作原理可以分为以下几种：

• TOF相机
• 双目相机
• 结构光相机
• 激光扫描仪

2D相机介绍

通过透镜聚焦于像平面的光线，最终需要通过传感器来生成图像。目前，有两种最流行的数字传感器技术，

• CCD, charge-coupled device 电荷耦合器件
• CMOS, complementary metal-oxide semiconductor 互补金属氧化物半导体
  两者的主要区别是从芯片中读出数据的方式即读出结构不同。下图描述了两者读出方式的不同。
  

1. CCD传感器
   CCD传感器由一系列光线敏感的光电传感器组成，光电探测器能将光子转为电子并将电子转为电流。 曝光时，光电探测器累计电荷，通过转移门电路，电荷被移至串行读出寄存器从而读出。 每个光电探测器对应一个读出寄存器。 下图形象的描述了CCD传感器的工作原理。
   

2. CMOS传感器
   CMOS传感器通常采用光电二极管作为光电探测器。 与CCD传感器不同，光电二极管中的电荷不是顺序地转移到读出寄存器，CMOS传感器的每一行都可以通过行和列选择电路直接选择并读出。因此，CMOS传感器可以当做随机读取存储器。
   

3. 彩色相机
   CCD和CMOS传感器，对于整个可见光波段全部有响应，所以无法产生彩色图像。 为了产生彩色图像，需要在传感器前面加上彩色滤镜阵列(color filter array, CFA)使得一定范围的光到达每个光电探测器。 下图展示了最常见的Bayer滤镜阵列。这种滤镜阵列由三种滤镜组成，每种滤镜都可以透过人眼敏感的三基色红，绿，蓝中的一种。由于人眼对绿色最为敏感，所以滤镜阵列中绿色采样频率是其它两种的两倍。值得注意的是由于绿色采样是1/2，红、蓝是1/4，这就导致了严重的图像失真。通常在传感器前加上控图像失真滤光片。 CCD彩色相机的示意图：
   

输出信号时，像素的RGB分量是由其对应像元和其附近的像元共同构成的。

Bayer滤波法：

3D相机介绍

1.TOF相机
TOF（Time of flight）直译为飞行时间。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。

TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。TOF相机不仅可以获取到深度信息还可以获取到图像的灰度信息，微软kinect2即是基于TOF原理的深度相机。

TOF 相机目前的主要应用领域包括：物流行业，安防和监控，工业视觉，工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备，医疗和生物，互动娱乐等领域。

2.双目RGB相机
双相机立体视觉指仅依靠双相机的视差获取深度信息的方式。

双相机立体视觉相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。例如纯色的背景。

3.结构光相机
结构光（Structured Light）相机是通过红外（(Infrared Radiation）发射端投射人眼不可见的伪随机散斑红外光点到物体上，每个伪随机散斑光点和它周围窗口内的点集在空间分布中的每个位置都是唯一且已知的。这是结构光的存储器中已经预储存了所有的数据。这些散斑投影在被观察物体上的大小和形状根据物体和相机的距离和方向而不同。拍摄到的斑点和已知斑点进行对比，然后获取到深度信息。

根据三种不同的距离使用了三种不同尺寸的散斑，这样的目的是为了在远中近三种距离内都能得到相对较好的测量精度：

近距离(0.8 – 1.2 m)：可以获得较高的测量精度， 中距离(1.2 – 2.0 m)：可以获得中等的测量精度， 远距离(2.0– 3.5 m)：可以获得较低的测量精度。

4.三维扫描仪
三维扫描仪（3D scanner）主要有两种：拍照式扫描仪，激光扫描仪。

三维扫描仪的作用是用来创建物体表面的点云图，从而生成物体的表面形状，越密集的点云，构建出的三维形状越精确。

• 拍照式扫描仪
  拍照式三维扫描仪是一种高速高精度的三维扫描测量设备，应用的是目前国际上最先进的结构光非接触照相测量原理。拍照式三维扫描仪采用了结构光技术、相位测量技术、计算机视觉技术，是一种复合三维非接触式测量技术。
  它采用的是白光光栅扫描，以非接触三维扫描方式工作，全自动拼接，具有高效率、高精度、高寿命、高解析度等优点，特别适用于复杂自由曲面逆向建模， 主要应用于产品研发设计（RD，比如快速成型、三维数字化、三维设计、三维立体扫描等）、逆向工程（RE，如逆向扫描、逆向设计）及三维检测。

• 激光扫描仪
  激光式扫描仪工作时，将激光线照射在物体上，通过两个相机捕捉每个瞬间的三维扫描数据，根据捕获到的不同角度的激光反射及折射，通过软件构建三维图像，由于激光扫描的频率很高，较快的扫描动作也能得到较准确的结果。使用时常需要使用反光型焦点标志贴，与扫描软件配合使用，以进行摄影测量和自动校准。
  激光扫描仪是在原有拍照式扫描仪的基础上设计的，比拍照式拥有更高的精准度，可以满足更加苛刻的三维逆向建模需求。

注：以上文字和图片均来源于链接，若有侵权请联系转载方删除。