《计算机视觉中的多视图几何》笔记（6）

前面的1-5章在序号上被标为Part 0，标题是The Background: Projective Geometry, Transformations and Estimation，讲述了一些背景知识，包括投影几何、变换和估计。接下来的部分进入到Part 1，标题是Camera Geometry and Single View Geometry，这一部分集中在单个视角相机的几何形状上，它包含3章。

第6章介绍了3D场景空间在2D图像平面上的投影。相机映射由矩阵表示，在映射点的情况下，它是一个$3\times 4$矩阵$P$，该矩阵$P$从3个空间的世界点的齐次坐标到图像平面上成像点的齐次坐标。该矩阵通常具有11个自由度，可以从中提取相机的性能，例如其中心和焦距。特别是，内部摄像机参数（例如焦距和纵横比）封装在$3\times 3$矩阵$K$中，该矩阵$K$是通过简单分解从$P$获得的。有两种特别重要的相机矩阵类别：1. 有限的摄像机和 2. 其中心在无穷大的相机，例如代表平行投影的仿射相机。

第7章介绍了摄像机矩阵$P$的估计，基于给定一组相应的世界和图像点的坐标。本章还介绍了如何有效地将摄像机上的约束结合到估计中，以及一种校正径向镜头失真的方法。

第8章有3个主要主题。首先，它涵盖了相机对有限点以外的几何对象的作用。这些包括无限的线条，圆锥，四元和点。无穷大的点/线的图像是消失的点/线。第二个主题是摄像机校准，其中计算摄像机矩阵的内部参数$K$，而没有计算整个矩阵$P$。特别是描述了内部参数与绝对圆锥的图像的关系，并且校准了来自消失点和消失线的相机。最后的主题是校准锥体，这是一种可视化摄像机校准的简单几何设备。

6 Camera Models

主要介绍两种摄像机模型：1.光心在有穷点 2. 光心在无穷点，也叫仿射摄像机。

6.1 Finite cameras

我们先从pinhole camera讲起，然后一步步推广。

假设在相机坐标系下有一点$X=(X,Y,Z{)}^T$，由于摄像机的平面在$Z=f$，$f$就是焦距，那么$(X,Y,Z{)}^T$就变到了$(fX/Z,fY/Z,f{)}^T$，忽略最后一项，就成了$(fX/Z,fY/Z{)}^T$，在图像坐标系下就是这样表达的。倘若我们使用齐次坐标来表达，那么中心投影就可以轻松地表示为它们的齐次坐标之间的线性映射，写成矩阵就是如下形式：

( f X f Y Z ) = [ f 0 f 0 1 0 ] ( X Y Z 1 ) \left( \begin{matrix} fX\\ fY\\ Z\\ \end{matrix} \right)= \left[ \begin{matrix} f & & & &0 \\ & f & & &0 \\ & & & 1 &0 \end{matrix} \right] \left( \begin{matrix} X\\ Y\\ Z\\ 1 \end{matrix} \right) ​fXfYZ​ ​= ​f​f​​1​000​ ​ ​XYZ1​ ​

到了图像坐标系以后，我们下面继续转换，到像素坐标系。
上面的表达式其实假设了图像平面中的坐标原点位于主点。 实际上，可能不是，如下图所示，会有一个偏置。所以一般来说有一个映射。

$(X,Y,Z,1)$就变成了$(fX/Z+p_x,fY/Z+p_y)$，$(p_x,p_y)$就是摄像机的光心。我们使用齐次坐标来表达映射：

( f X + Z p x f Y + Z p y Z ) = [ f p x 0 f p y 0 1 0 ] ( X Y Z 1 ) \left( \begin{matrix} fX+Zp_{x}\\ fY+Zp_{y}\\ Z\\ \end{matrix} \right)= \left[ \begin{matrix} f & & p_x&0 \\ & f & p_y&0 \\ & & 1 &0 \end{matrix} \right] \left( \begin{matrix} X\\ Y\\ Z\\ 1 \end{matrix} \right) ​fX+Zpx​fY+Zpy​Z​ ​= ​f​f​px​py​1​000​ ​ ​XYZ1​ ​

我们可以令：

K = [ f p x f p y 1 ] K= \left[ \begin{matrix} f & & p_x \\ & f & p_y \\ & & 1 \end{matrix} \right] K= ​f​f​px​py​1​ ​

那么就可以化简为：
$$x=K[I|0]X_{cam}$$

K就是摄像机的camera calibration matrix，也就是内参。

最后，我们还需要从世界坐标系转换到相机坐标系，所以有一个旋转加平移的矩阵。

( f X f Y Z ) = [ f p x 0 f p y 0 1 0 ] [ R t 0 1 ] ( X Y Z 1 ) \left( \begin{matrix} fX\\ fY\\ Z\\ \end{matrix} \right)= \left[ \begin{matrix} f & & p_x&0 \\ & f & p_y&0 \\ & & 1 &0 \end{matrix} \right] \left[ \begin{matrix} R & t \\ 0 & 1 \end{matrix} \right] \left( \begin{matrix} X\\ Y\\ Z\\ 1 \end{matrix} \right) ​fXfYZ​ ​= ​f​f​px​py​1​000​ ​[R0​t1​] ​XYZ1​ ​

其中
$$\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$

就是相机的外参。

把整个摄像机矩阵$KR[I|-C]$写成$P$，$P$就是一个$3\times 4$的矩阵。这个$P$有9个自由度，$K$贡献了3个（$f,p_x,p_y$），$R$贡献了3个，$C$也贡献了3个。

刚刚导出的针孔相机模型假设图像坐标是在两个轴向上具有相等尺度的欧几里得坐标。 对于 CCD 相机，还可能存在非方形像素。 如果图像坐标以像素为单位测量，那么这会产生在每个方向上引入不相等的比例因子$m_x,m_y$的额外效果，如下所示：

K = [ a x x 0 a y y 0 1 ] K= \left[ \begin{matrix} a_{x} & & x_{0}\\ & a_{y} & y_{0}\\ & & 1 \end{matrix} \right] K= ​ax​​ay​​x0​y0​1​ ​

其中$a_x=f{m}_x$和$a_y=f{m}_y$表示焦距，而$x_0=m_x{p}_x$和$y_0=m_y{p}_y$表示中心点坐标。因此，CCD相机就有10个自由度。

接下来推广到更普遍的情况，终于来到了finite projective camera。

相机内参有时候会加一个偏斜系数（skew parameter），因为相机的两个轴可能不是完全垂直的。当然了，大部分情况下都是垂直的。此时矩阵如下：

K = [ a x s x 0 a y y 0 1 ] K= \left[ \begin{matrix} a_{x} & s & x_{0}\\ & a_{y} & y_{0}\\ & & 1 \end{matrix} \right] K= ​ax​​say​​x0​y0​1​ ​

因此，此时finite projective camera的自由度就是11了。此时它的自由度已经和一个定义为任意比例的$3\times 4$的矩阵一样了。

我们注意到摄像机矩阵$P$中的左边的$3\times 3$子矩阵，也就是$KR$，是一个非奇异矩阵。反过来，任何一个$3\times 4$的矩阵都可以是finite摄像机矩阵，只要左边$3\times 3$的子矩阵不是奇异矩阵就可以。

如果你说非要左边子矩阵是奇异矩阵呢？你说非要，这本书也讲得很明白：如果该矩阵是奇异矩阵，那么该摄像机模型就是general projective camera。我们终于推广到了最后一步，移除了这个限制。

那么我们把$P$写成$P=[M|p_4]$，$p_i$代表列。将摄像机性质总结如下：

1. 光心位置$C$，$M$不奇异，则$C=(-M^{-1}{p}_4,1{)}^T$，$C$是奇异矩阵则$C=(d,0{)}^T$
2. $p_1,p_2,p_3$是$x,y,z$轴的消失点，$p_4$是相机坐标系的原点
3. $P$的最后一行，也就是$P^3$，是主平面
4. $P$的第一第二行，也就是$P^1,P^2$，是轴平面
5. 主点是$x_0=M{m}^3$，$m^{3T}$就是相机矩阵第三行
6. 主光线（主轴）穿过光心$C$方向为$m^{3T}$的线，主轴矢量$v=det(M)m^3$指向相机的前方

6.2 The projective camera

6.2.1 Camera anatomy

下面我们详细说明一下相机的各个关键词。

相机中心 $P$的rank是3，那么它就有一个1维的零空间C，满足$PC=0$，这个$C$就是相机的中心
列向量 前三个列向量是消失点，最后一个列向量是世界原点
行向量 行向量代表平面
主平面 主平面就是通过相机中心并且与成像平面平行的平面
主轴 主轴通过主平面并且与其垂直交点是相机中心

6.2.2 Action of a projective camera on points

空间点$X$投影到$x=PX$，图像点$x$反投影就形成了一个射线$X(\lambda )=P^{+}x+\lambda C$

6.2.3 Depth of points

我们有一个三维的空间点$X=(X,Y,Z,T{)}^T$，finite camera的摄像机矩阵$P=[M|p_4]$，我们假设$P(X,Y,Z,T{)}^T=w(x,y,1{)}^T$，那么

$$depth(X;P)=\frac{sign(detM)w}{T||m^3||}$$

是相机主平面前面$X$点的深度。

该公式是确定点$X$是否位于相机前方的有效方法。 可以把点$X$或相机矩阵$P$乘以常数因子$k$来验证深度$(X;P)$的值是不变的。 因此，深度$(X;P)$与$X$和$P$的特定齐次表示无关。

6.2.4 Decomposition of the camera matrix

令P为代表general projective camera的摄像机矩阵，我们希望从P中找到相机中心、相机的方向以及相机的内部参数。

寻找相机中心 假设中心$C=(X,Y,Z,T{)}^T$，有以下公式可以计算出$C$：

$X=det([p_2,p_3,p_4])$

$Y=-det([p_1,p_3,p_4])$

$Z=det([p_1,p_2,p_4])$

$T=-det([p_1,p_2,p_3])$

查找相机方向和内部参数 对于有限相机，$P=[M|-M\hat{C}]=K[R|-R\hat{C}]$。所以直接把$M$做$QR$分解就可以了。

6.2.5 Euclidean vs projective spaces

到目前为止，各部分的发展其实隐含地假设世界和图像坐标系是欧几里得坐标系。 借鉴了射影几何的思想（例如对应于 ${\pi }_{\infty }$ 上的点的方向），并且齐次坐标的方便表示法允许中心投影以线性方式表示。

重要的是要记住，相机是欧几里得设备，仅仅因为我们有相机的投影模型，并不意味着我们应该回避欧几里德几何的概念。

6.3 Cameras at infinity

现在我们开始重点讨论摄像机矩阵中左边$3\times 3$的子矩阵为奇异矩阵的情况。无限远相机可以大致分为两种不同类型：仿射相机和非仿射相机。 我们首先考虑实践中最重要的仿射类相机。

6.3.1 Affine cameras

无穷远处摄像机的意思是$P$左边$3\times 3$的子矩阵是奇异的。这种摄像机可以分成两类：仿射摄像机和非仿射摄像机。

仿射摄像机的定义是$P$最后一行是(0,0,0,1)，因为无穷远点被映射到无穷远点。

一个理解的方式，我们可以想象摄像机主点往无穷远处移动，同时摄像机的焦距逐渐增大，主点到了无穷远，最后一行自然成了$(0,0,0,1)$。

6.3.2 Error in employing an affine camera

一个点，投影到仿射摄像机和普通摄像机上的坐标是有差别的。点离摄像机越远，点越会偏离主点。

6.3.3 Decomposition of $P_{\infty }$

其矩阵可以写成如下形式：
$$P_{\infty }=\left[\begin{array}{cc}{K}_{2\times 2}& x_0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$

左边的矩阵就是内参。

6.3.4 A hierarchy of affine cameras

6.3.5 More properties of the affine camera

仿射摄像机就是摄像机的中心在无穷远，主平面也在。或者说$P$左边$3\times 3$的子矩阵是奇异矩阵，因为最后一行是0。但是还有一种情况，就是该子矩阵是奇异的，但是最后一行不是0，那就是说相机中心在无穷远，但是主平面不在。

6.3.6 General cameras at infinity

6.4 Other camera models

简单介绍了两种其他相机模型。

6.4.1 Pushbroom cameras

6.4.2 Line cameras