Lecture19_相机、透镜与光场（Cameras, Lenses and Light Fields）_GAMES101 课堂笔记

目录

第一部分：相机成像基本知识

一、Pinhole Image Formation（针孔的图像形成）

二、Field of View (视场，FOV)

第二部分：Exposure（曝光）

一、ISO 感光度

二、光圈大小

三、快门速度

四、Fast and Slow Photography

第三部分：Thin Lens Approximation

一、手机镜头

二、The Thin Lens Equation（薄镜方程）

三、Defocus Blur（可用于解释景深）

四、Ray Tracing Ideal Thin Lenses

五、Depth of Field（景深)

第四部分：Light Field/Lumingraph（光场）

一、全光函数

二、光场

三、光场相机

 

---

 

 

这节课的内容是独立的 topic，主要介绍一些相机相关的成像知识。

第一部分：相机成像基本知识

Imaging = Synthesis + Capture （成像 = 合成+捕捉）

相机内部构造：

最早的相机就是利用“小孔成像”原理，后面发明了 “针孔相机”。

• Shutter Exposes Sensor For Precise Duration（快门用于控制进入相机的时间），快门示意图：

  

• Sensor Accumulates Irradiance During Exposure（传感器积累在辐照期间的曝光），另外，每个传感器的点不会记录 radiance，只能记录Irradiance（但目前随着科技发展，最新的一些传感器可以通过方向性的光分开传感分开记录。）

下面介绍一些相关的概念：

一、Pinhole Image Formation（针孔的图像形成）

（一）成像示意图

针孔成像锐利清晰，没有虚化景深效果。

二、Field of View (视场，FOV)

视场与传感器、焦距均有关。定义视场：

不同的视场的拍摄效果：

传感器尺寸参考：

小的传感器尺寸，小的视场,反之亦然。

手机与摄像机相同视场不同参数，等价概念：

第二部分：Exposure（曝光）

曝光度计算公式：

摄影中影响曝光的因素：

对于三种因素不同的参数表现效果：

其中光圈参数：F+数字，数字越大，光圈越小

曝光时间越长，越容易造成运动模糊

ISO+数字，是指在原来的图像上，乘以多少倍数。这样的效果是放大信号（变亮），但也同时放大了噪声。

一、ISO 感光度

（一）对于ISO解释：

（二） 不同ISO表现效果

二、光圈大小

三、快门速度

常见的快门速度缺陷：

（一） Motion blur

如果运动物体足够快，快门时间长/慢,在一段曝光时间内，会捕捉到许多物体运动的轨迹，由此造成 “运动模糊（Motion Blur）”。

运动模糊好处——可以拍下告诉运动的物体轨迹。例如左图：

（二）Rolling shutter

对于超高速的运动物体，不同时间的光会造成扭曲现象，如下图飞机的螺旋桨：

（三） 光圈大小 vs 快门速度

某种层面上，他俩可以近似相互转换，但是并不严格意义上相乘。换算如下：

四、Fast and Slow Photography

（一）High-Speed Photography

可以用于拍摄比较有连续性的效果。

（二）Low-Speed Photography

或者称为 “Long-Exposure Photography”。小光圈长时间，延时摄影效果，在摄影界被称为 “拉丝” 效果。

第三部分：Thin Lens Approximation

一、手机镜头

手机其实是一个透镜组：

问题：

• 真正的镜片都不太理想 - 畸变

通过折射后，虽然能汇聚，但不能均汇聚到某一个点。

• 理想的薄透镜 - （同一）联络点

  

  （1）同一点发出的光线进入透镜穿过其焦点所有均变成平行射线。

  （2）通过一个焦点的所有光线将在平行穿过透镜之后汇聚到一点上。 （3）实际上，焦距可任意改变。

二、The Thin Lens Equation（薄镜方程）

过中心不改变方向，不过棱镜中心则改变方向。其中, (z_0) 为物距， (z_i)为像距。(f)为焦距。

\1. Gauss’ Ray Diagrams

物距与像距之间的关系：

物距、像距与焦距之间的关系：

三、Defocus Blur（可用于解释景深）

表现效果：

​

光圈计算举例：

光圈大小与弥散圈成反比，效果表示如下：

四、Ray Tracing Ideal Thin Lenses

用于渲染的实例：

（一） Ray Tracing for Defocus Blur (Thin Lens) 计算步骤：

（二） 渲染：

五、Depth of Field（景深)

大光圈，小光圈 ==> 影响模糊范围。景深实际上是清晰的范围，，COC小就尽可能清晰。左图：弥散圈，右图：清晰锐利。

（一）Circle of Confusion for Depth of Field

（二）Depth of Field (FYI)

(DOF=D_F- D_N)

（三）DOF Demonstration (FYI)

这是一个网站，可以按照网站，调节参数，查看效果并计算数值：

第四部分：Light Field/Lumingraph（光场）

一、全光函数

全光函数通俗概念：可以看到所有事情的集合。

（一）灰度光照

引入波长  后，可以看到一个彩色世界：

继续引入时间 ，可以看到电影效果：

继续扩展到整个空间：自己可以随处看，就是全息电影（可以改变自身角度看画面）。

再继续扩展，任何时间，任何位置，任何角度看到的世界（7个维度）。这就是全光函数。

全光函数本身定义——剖面图，在2D情况下，点都是一维的。

光场是全光函数的一个小部分

二、光场

（一）光线定义

通过记录不同的点不同的位置，向各个方向发射的光的强度。

建立光场与全光函数的关系。

光线定义光强：

记录光场时，通过查看点，可以知道看见的画面是什么。

光场： 两个数表示方向，两个数表示位置。

 

只要有光场，就可以知道看到了什么。可以从任意位置看向物体，在这个物体中可以查询此光场的强度，可得到物体在任意位置任何方向光的强度。

把一个物体放在盒子里面，盒子上任意一个点记录它的方向，不关心物体的形状。前提：光场在包围盒外面。

 

 

取一个平面，假设平面的右边是各种发光物体，右边忽略，只需知道左边是什么。

对于任何一个光场，可以由两个平面进行定义。

光场参数化：常用(u,v),(s,t)。找到所有的（u,v）,(s,t)得组合即可组成一个光场。即：记录所有可能的光的位置和方向。

 

 

两个平面进行参数化的另一种理解方：在（s,t) 上取一点，看向(u,v)。如下图所示：

应用：类似针孔摄像机

一个像素记录的是Irradiance，通过这种方式，可以将Irradiance展开成radiance。

例如：Stanford Lamera array

不同位置对场景拍摄不同的图。每一个位置(u,v),拍到的照片(s,t)。每一个成像出来是2D的，相机矩阵是2D的，因此整个就是2D * 2D.

Integral Imaging

复眼是一种由不定数量的小眼组成。主要在昆虫及甲壳类等节肢动物的身上出现，同样结构的器官亦有在双壳纲身上出现。复眼中的小眼面一般呈六角形。小眼面的数目、大小和形状在各种昆虫中变异很大，雄性介壳虫的复眼仅由圆形小眼组成。

—— 摘自百度百科

这样更方便理解。自然界中苍蝇的“复眼”，苍蝇的眼睛可以看做是一个光场。任何一个感光部件，可以收到所有方向传来的光。

lanslet当成一个像素，如果将其当成一个透镜，后面的感光元件就可以记录各个方向的 记录的不再是radiances，而是穿过各个方向的光。

分光操作本质上 = 记录所看到的radiance，而不是Irradiance。

三、光场相机

1. Lytro 光场照相机

把一个像素替换成透镜，使用透镜把来自不同方向的光分开再记录。

核心功能：可以先拍照在聚焦，支持后期重新聚焦。

光场照相机原理：

其实就是光场的原理，将原本的像素换成微透镜，来自不同方向的光分开到不同方向上去。任何一个“圆”内部平均起来就是。

通俗理解，一个像素原本记录的 radiance 被拆开了。

 

How：将光场照片恢复为普通照片？

每一个透镜都选一条同方向（或者某一条位置的路径）的光线，对应的某一个值即可。

 

光场照相机记录了所有的光场信息。

缺点：光场照相机通常有空间分辨率不足的问题，因此对胶片的要求非常高，造成高成本。