图像形成（完） 点和线的图像，原像和余像及系列博文总结

图像形成（完） 点和线的图像，原像和余像及系列博文总结

  通过前面的该系列博文，博主相信各位已经建立了一个点的透视图像的概念。 原则上，这允许我们定义3D中任何其他几何实体的图像，其可以被定义为一组点（例如，线或平面）。 然而，正如我们从球面投影中看到的那样，即使对于一个点，对于其图像也存在看似不同的表示：两个向量$x\in {\mathbb{R}}^3$和$y\in {\mathbb{R}}^3$可以表示相同的图像点，只要它们是通过非零标量因子相关的即可。即$x\sim y$（由于成像表面中的不同选择）。 为了避免可能由同一几何实体的这种不同表示引起的混淆，我们引入了一些与点或线的图像相关的抽象概念。

  考虑将3D直线$L$投影到2D图像平面上，如图1所示。

图1。一条3D线的透视图像。 线上点的图像集合形成平面$P$。该平面与图像平面的交点给出一条直线-这是该线的图像。

  要在3D中指定直线，我们通常可以在直线上指定一个点$P_o$，称为基点，并指定一个指示直线方向的向量$v$。 假设${\mathbf{X}}_o=[X_0,Y_o,Z_o,1{]}^T$是基点$P_o$的齐次坐标，$\mathbf{V}=[V_1,V_2,V_3,0{]}^T\in {\mathbb{R}}^4$是相对于摄像机坐标系的$v$的齐次表示。 然后，线$L$上任何点的（齐次）坐标可以表示为

$$\mathbf{X}={\mathbf{X}}_o+\mu \mathbf{V},\mu \in \mathbb{R}$$

  然后，线$L$的图像由具有由其给出的齐次坐标的图像点的集合给出

$$x\sim {\Pi }_{0}X={\Pi }_0(X_o+\mu V)={\Pi }_0{X}_o+\mu {\Pi }_{0}V$$

  很容易看出，这个点$\{x\}$的集合，被视为原点为$o$的向量，张成二维子空间$P$，如图1所示。 该子空间与图像平面的交点在2D图像平面中产生直线，如图1所示。 然后该线是线$L$的（物理）图像。

  现在的问题是如何有效地表示线的图像。 为此，我们首先介绍了原像(preimage)的概念。

原像

   图像平面中的点或线的原像是一组3D点，其产生等于给定点或线的图像。

---

  注意，给定图像被约束在图像平面中，而原像位于3D空间中。在图像平面上的点$x$的情况下，其原像是一维子空间，由将点$x$连接到相机中心$o$的矢量张成。在线的情况下，原像是平面$P$到$o$（因此是子空间），如图1所示，其与图像平面的交点恰好是给定的图像线。这样的平面可以表示为同一子空间中任意两个线性独立矢量的张成。因此，原像实际上是一组产生相同图像的最大三维点或线。原像的定义不仅可以给出图像平面中的点或线，还可以给出图像平面中的曲线或其他更复杂的几何实体。然而，当图像是点或线时，原像是子空间，并且我们也可以通过其在${\mathbb{R}}^3$中的（唯一的）正交补来表示该子空间。例如，平面可以由其法向量表示。这导致了以下余像(coimage)的概念。

余像

  点或线的余像被定义为${\mathbb{R}}^3$中的子空间，其是其原像的（唯一的）正交补。

---

  我们必须意识到图像，原像和余像是等效的表示，因为它们彼此唯一地确定：

    图像 = 原像 $\cap$ 图像平面

    原像 = $\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}($图像$)$

    原像 = 余像${}^{\perp }$

    余像 = 原像${}^{\perp }$

  由于线$L$的原像是二维子空间，因此其余像表示为子空间的法向量的张成。 我们将之标记为$\ell =[a,b,c{]}^T$（图1）。 如果$x$是该线上的点$p$的图像，则它满足正交性方程

$${\ell }^{T}x=0$$

  回想一下，我们使用$\hat{u}\in {\mathbb{R}}^{3\times 3}$来表示与向量$u\in {\mathbb{R}}^3$相关联的斜对称矩阵。 它的列向量张成的子空间与向量$u$正交。 因此，矩阵$\hat{\ell }$的列向量张成的平面与$\ell$正交; 即它们张成了线$L$的原像。在图1中，这意味着$P=\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(\hat{\ell })$。 类似地，如果$x$是点$p$的图像，则其余像是与矩阵$\hat{x}$的列向量张成的与给出的$x$正交的平面。 因此，原则上，我们应该使用表1中的符号来表示点和线的图像，原像或余像。

记法	图像	原像	余像
点	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(x)\cap$图像平面	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(x)\subset {\mathbb{R}}^3$	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(\hat{x})\subset {\mathbb{R}}^3$
线	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(\hat{\ell })\cap$图像平面	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(\hat{\ell })\subset {\mathbb{R}}^3$	$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(\ell )\subset {\mathbb{R}}^3$

表1：点和线的图像，原像和余像

  虽然严格来说，点或线的（物理）图像是依赖于成像表面的特定选择的概念，但是在数学上使用其原像或余像来表示它更方便。 例如，我们将使用可定义为标量因子的向量$x$来表示点的原像; 并且向量$\ell$定义为以表示线的余像的标量因子。点和线的原像和余像之间的关系可以用向量$x,\ell \in {\mathbb{R}}^3$表示为

$$\hat{x}x=0,\hat{\ell }\ell =0$$

    如果从上下文中清楚它的实际含义，我们可以将点和线的原像或余像称为“图像”。 例如，在图1中，在图像平面中标记线$L$的图像，是使用与通常用于表示其余像的矢量的相同符号$\ell$。

系列博文总结

  我们研究了透视投影，它将我们从3D（4D）摄像机坐标转换为2D摄像机图像坐标和像素坐标。 在齐次坐标系中，我们有变换：

  4D世界坐标 $\stackrel{g\in SE(3)}{}$ 4D相机坐标 $\stackrel{K_f{\Pi }_0}{}$ 3D图像坐标 $\stackrel{K_s}{}$ 3D像素坐标

  特别是，我们可以总结矩阵中的（固有）摄像机参数

$$K=K_s{K}_f$$

  从世界坐标$X_0$到像素坐标$x^{\prime }$的完全变换由下式给出：

$$\lambda x^{\prime }=K{\Pi }_{0}g{X}_0$$

  此外，对于点和线的图像，我们引入了原像（与给定图像一致的最大点集）和余像（其正交补）的概念。 两者都可以等效地用于图像。