计算摄影学基础知识(1)

传统摄影学基础知识

---

一、光学与摄影

    摄影就是光线进入胶片或者数字成像器件所产生出来的效果，光学和摄影是不是可分的，摄影就是一种用光的艺术。想了解摄影就要认识光，了解光的原理以及传播方式。

    光是由光子组成的，爱因斯坦认为光具有粒子性与波动性，也就是大家常常听到的波粒二象性。在摄影中，我们主要考虑光的波动性，从严格定义上说，光也就是所有形式电磁波的总称，如下图所示。

电磁波的波长短的小于$10^{-16}$m，长的超过100km，包括无线电波、微波、红外光、可见光、紫外光、X光等。在摄影中，主要用到的光是可见光，在某些特殊情况下也包括部分红外光与紫外光。

    本人研究生期间从事红外与可见光图像融合的研究，其就是利用红外图像可感知热辐射信息的优点，但分辨率较差，细节纹理信息较少；可见光图像在正常光照条件下可获得场景丰富的细节纹理信息的优点对两者进行融合，得到信息量丰富的高质量成像结果，可以点击下方链接查看融合算法详情。
红外可见光图像融合文章详情


        上图为某红外成像仪以及红外图像在物体识别、军事、夜视监控、遥感等领域的应用。红外光是由弗里德里希·威廉·赫歇尔（Friedrich Wilhelm Herschel）于1800 年发现的，他将太阳光用三棱镜分解，并在不同颜色的色带位置上放置温度计，以此测量各种颜色光的加热效应。结果发现，位于红光外侧的那支温度计升温最快。由此得到结论：太阳光谱中，红光的外侧必定存在看不见的光线，这就是红外线。

        所有高于热力学温度零度（-273.15℃）的物质都可以产生红外光。一般认为，红外光的波长为 0.76～1000μm，科学家将不同波长范围的红外光分为近红外光、中红外光和远红外光。远红外光是红外光中波段最宽的，一般定义远红外光波长范围为 4～1000μm，远红外光占据太阳辐射能量的 72%。波长为 0.76～1.5μm 的是近红外线，波长为 1.5～4μm 的是中红外线，如下图所示。

    在这里将对红外光做一个简单的介绍，后续将进一步详细分析红外成像的应用以及一些重要的视觉算法。

二、镜头与焦距

        人眼识别物体依赖于晶状体，摄像机识别物体依赖于光学镜头。光学镜头是成像系统构成中的重要部分，大多数镜头是由多块透镜组成的，这是因为单块物镜理论确定的理想像与实际存在偏差，这叫作像差。
        其中常见的有场像弯曲，像场弯曲是指在一个平坦的像平面上，像的清晰度从中央向外发生变化，聚焦形成弧形，焦点不在像平面上，而是在像平面前成弧形，如下图所示。
        画面畸变，指画面中心与边缘的折射角度不同，造成拍摄物体变形，如下图所示。

        光学镜头不仅决定成像质量的好坏还影响算法的实现。那么，镜头影响成像质量的因素有哪些？

1）.镜头的镀膜。镀膜在色彩还原和处理偏光偏色方面起着很大的作用，除此之外，镀膜技术决定着镜头镜片的透光能力，即“透光率”，而“透光率”决定着镜头的清晰度。

2）.镜头的材质。目前在国内，镜头的材质有玻璃镜片、复合材料镜片和树脂镜片，但树脂镜片和复合材料镜片在高温或是暴晒的条件下容易老化，影响成像质量，所以，一般工业镜头选择玻璃材质。

3）.非球面技术。此项因素主要影响的是镜头边缘部分的清晰度，非球面镜片可以有效的增加镜头边缘的透光量，有效的修正球面镜片造成的像差模糊现象。

        焦距：在变焦镜头中，不同的镜头元件可以前后移动。通过改变特定透镜之间的距离，就能调节整个镜头的放大率——焦距。焦距是镜头的关键参数之一。当平行于主光轴的光线穿过透镜时，会汇聚到一点上，这个点叫做焦点。
        焦点到透镜中心（即光心）的距离，被称为焦距。焦距的单位一般用 mm 来表示。焦距越长，相机所看到的场景越窄，视场角越小，看得越远；焦距越短，相机看到的场景越宽，视场角越大，看得没有焦距长的那么远，

三、快门与曝光

        曝光也是摄像机/照相机的一个重要特性。曝光使得合适的光量进到感光器件。决定曝光的因素有两个，一个是快门速度（Shutter Speed），另一个是光圈的大小（Aperture）。

3.1快门速度

        快门速度决定了感光器件的进光时间，基本上和曝光是线性关系。一般快门速度用1/ns 表示，即在 1s 的时间内曝光 n 次。显然，n 越大，快门速度越高。典型的快门速度：1/30s、1/60s、1/125s、1/250s、1/500s。在手持相机的情况下，人手可以在 1/60s 的快门时间内不抖动。

        快门速度过低对高速运动的物体会产生拖影。如下图，快门速度低时，拿开盒子会有拖影；快门速度高时，即使盒子在高速运动也能看清盒子。

当然有时候为了艺术效果，会故意增加拖影时间，常见于夜晚的星轨、车流、运动会突出运动员的爆发等场景。

3.2 光圈

        光圈位于镜头的透镜组中间，通过控制光圈孔径的开合来控制镜头通光量的大小。

        光圈的大小一般用 f 值表示。f/2.0 光圈是指当镜头焦距为 50mm 时其光圈直径大小是 25mm。即 f 值=镜头焦距/镜头口径的直径。f 值是一个比值而不是一个有具体单位的数字。f 值越小，光圈越大。典型的光圈大小：f/1.4、f/2.0、f/2.8、f/4、f/5.6、f/8、f/11、f/16、f/22、f/32。光圈能控制曝光、景深。当需要景深比较大时，把光圈调小；需要景深比较小时，把光圈调大。不同大小的光圈如下图所示：

3.3景深与弥散圆

        景深顾名思义就是聚焦完成时。焦点前后的范围内都能形成清晰的像的距离。了解景深需要知道弥散圆的概念。

        理想情况下，与光轴平行的光线射入凸透镜时，所有光线将会聚在焦点，再以锥状的形态扩散开来，如下图所示，在焦点前后，光线开始聚集和扩散，点的影像变成模糊的，形成一个扩大的圆，这个圆就叫做弥散圆。当弥散圆的直径小到人眼不能分辨时，这时的弥散圆被称为允许弥散圆。不同的应用环境下，允许弥散圆直径的定义不同。

在焦点前后各有一个允许弥散圆，这两个弥散圆之间的距离是焦深，对应拍摄景物那一边就是景深。景深分为前景深和后景深。前景深 $H_1$ 与后景深 $H_2$的计算公式分别为:


式中，F 为镜头焦距；f 为镜头光圈值；L 为拍摄距离；δ 为允许弥散圆直径。因此，景深 $H$＝$H_1$＋$H_2$。
影响景深的因素主要有如下三个方面。
（1）光圈大小：光圈越大景深越小，光圈越小景深越大，如下图所示。
（2）镜头焦距：镜头焦距越长景深越小，镜头焦距越短景深越大。
（3）拍摄距离：镜头离被摄景物越近景深越小，镜头离被摄景物越远景深越大。

数字相机原理

        数码摄像机的出现颠覆了人们摄影的方式，大大提高了摄影水平，如今人们拍照习惯用美颜，打开美图秀秀，ps一下照片，这都归功于数码相机和数字图像处理技术。

一、幅面与图像分辨率

        今天的数码相机依然主要由光学镜头和 CCD 或 CMOS 感光器件组成。感光器件的作用就是完成从光到电的光电转换，光的强弱影响着传感器上电荷的分布，电荷的分布变化影响着电流的强弱，光越强，电流越大，按电流强弱转换图形信号的过程，就是将光信号转换成电子信号的过程，即光/电转换过程。这从根本上动摇了传统摄影的地位，从而改变了人们熟知的银盐感光成像原理，电子芯片取代了传统胶片，计算机加软件取代了传统的暗房工艺。

1.1图像幅面

        幅面大小是图像输出很重要的一个概念，早期的感光器件——135 胶卷的画幅是 36mm×24mm，在数码相机中，这种画幅被称为全画幅。受制作工艺及成本的影响，数字感光器件的画幅往往比全画幅小，在一些相机（如 Canon 20D-60D）中，感光器件是 22.5mm×15.32mm，在很多卡片式数码摄像机上，感光器件是 7.18mm×5.32mm。如下图所示，感光器件变小，所拍摄的场景会发生什么变化呢？最左边的图像是全画幅拍摄的效果，如果采用小一些的画幅拍摄的画面就如右边的两幅图像的效果。如果镜头不变，也就是焦距不变，当画幅越小时，呈现出来的画面也会越小。

在图像处理中图像传感器和ISP芯片都支持对幅面进行裁剪。

1.2图像分辨率

        图像分辨率是指数码相机或数码摄像机所能拍摄到的离散光点数，其基本单位是像素，一般表达方式为“水平像素数×垂直像素数”，比如 2048×1024，意思是数码相机所拍摄的照片水平方向有 2048 列像素，垂直方向有 1024 行像素，总像素是 200 万像素，所以这样的图像分辨率也可表达为“200 万像素”。图像分辨率指标的高低反映了图像清晰度的好坏

二、图像信号处理器（ISP流程）

        在数码相机或数码摄像机中，直接连接 CCD/CMOS 的是图像信号处理器（Image Signal Processor，ISP），ISP 的主要作用是对前端图像传感器输出的信号做后期处理，主要功能包括自动曝光、自动白平衡、坏点去除、去马赛克、透镜阴影校正、颜色校正、伽马校正、边缘增强与 3D 降噪处理，下面两图都是不同的ISP流程，有异曲同工之处，ISP 处理水平在很大程度上决定了照相机/摄像机的成像质量。在数码相机中，ISP 不仅仅负责上述处理，还负责图像数据的压缩与存储。

三、图像压缩与存储

        由于图像数据量大，为了方便存储与传输，一般采用 JPEG 标准压缩算法将数码相机拍摄出的图像进行压缩成 JPEG 文件。JPEG 全称为 Joint Photographic Experts Group，是一种有损的压缩算法，一般情况下，只要不追求图像过于精细的品质，是完全满足应用需求的，JPEG 通常压缩比率在 10：1～40：1，这样 JPEG 可以节省很大一部分存储卡的空间，从而大大增加了图片拍摄的数量，并加快了照片存储的速度，从而也加快了连续拍摄的速度，所以广泛用于数码相机中。

        RAW 格式：很多的数码相机开始使用 RAW 格式保存图像。前面讲到，数码相机中都会有一个 ISP，负责对 CCD/CMOS 输出的原始数据进行图像处理，变成处理后的 RGB图像数据，再进行图像压缩与存储。由于作为嵌入式芯片的 ISP 处理能力毕竟有限，而且有些用户往往希望后期能够按自己的意愿进行白平衡或其他色彩调节，于是就出现了RAW 格式。RAW 文件不需要 ISP 进行处理，直接保存从 CCD/CMOS 出来的原始图像数据，加上光圈、快门、焦距等数据。摄影师拿到这些数据后，可以在 PC 上使用照相机厂家提供的图像处理软件任意调整色彩空间、锐化值、白平衡、对比度、降噪等，进行类似“暗房”的创造性制作，而且不会造成图像质量的损失，保持了图像的品质。

总结

本节了介绍了摄影学的一些基础知识，这些基础知识的了解能够整体上知道对数字摄像技术，isp处理有一个了解，为后续自动曝光、自动白平衡等算法的实验奠定基础。