《计算机视觉中的多视图几何》笔记(12)

12 Structure Computation

本章讲述如何在已知基本矩阵 F F F和两幅图像中若干对对应点 x ↔ x ′ x \leftrightarrow x' xx的情况下计算三维空间点 X X X的位置。

文章目录

  • 12 Structure Computation
    • 12.1 Problem statement
    • 12.2 Linear triangulation methods
    • 12.3 Geometric error cost function
    • 12.4 Sampson approximation (first-order geometric correction)
    • 12.5 An optimal solution
    • 12.5.1 Reformulation of the minimization problem
    • 12.5.2 Details of the minimization
    • 12.5.3 Local minima
    • 12.5.4 Evaluation on real images
  • 12.6 Probability distribution of the estimated 3D point
    • 12.6 线段重建

12.1 Problem statement

我们假设已知摄像机矩阵 P P P P ′ P' P,基本矩阵 F F F,还有两幅图像中若干对对应点 x ↔ x ′ x \leftrightarrow x' xx。因为有噪声的存在,图像中的点反投影回去的两条射线不一定相交, x F x ′ xFx' xFx也不一定等于0,所以简单三角化不一定可行。

我们先回忆一下第10章三维重建的知识。我们介绍了好几种不同种类的三维重建,这取决于我们对摄像机矩阵的知晓程度。那么结合本章的三角化,我们希望三角化在不同种类的重建之间能给出同样的结果。我们首先用 τ \tau τ来代表三角化的过程,如果 τ \tau τ能满足下式,那么我们就说三角化在变换 H H H下是不变的:
τ ( x , x ′ , P , P ′ ) = H − 1 τ ( x , x ′ , P H − 1 , P ′ H − 1 ) \tau(x,x',P,P') = H^{-1}\tau(x,x',PH^{-1},P'H^{-1}) τ(x,x,P,P)=H1τ(x,x,PH1,PH1)

为什么需要讨论这个?这是因为我们首先需要确定三维重建的种类,才能决定优化目标的形式。如果我们只知道摄像机矩阵是一个projective matrix,那么我们就不能在三维空间最优化目标函数。因为这样的优化函数在投影变换中不能给出唯一的结果,因为距离和垂直度等概念在projective geometry的背景下无效。所以,本章给出的三角化方法优化的是二维图像上的距离,所以本章的方法在投影变换(projective transformation)中是不变的。
《计算机视觉中的多视图几何》笔记(12)_第1张图片

12.2 Linear triangulation methods

对于两幅图像,我们分别有 x = P X , x ′ = P X ′ x=PX,x'=PX' x=PX,x=PX,我们可以将第一个方程改成 x × P X = 0 x \times PX=0 x×PX=0,第二幅图也一样。我们继续改写就可以有 A X = 0 AX=0 AX=0

Homogeneous method 找出 A A A最小特征值对应的特征向量

Inhomogeneous method 参见4.1.2节,原书P90

讨论
Inhomogeneous method假设点不在无穷远处,不适合projective reconstruction。其实这两个方法都不适合。

Inhomogeneous method适合affine reconstruction。

Homogeneous method不适合affine reconstruction。

12.3 Geometric error cost function

《计算机视觉中的多视图几何》笔记(12)_第2张图片
由于图像中有噪声的存在, x ↔ x ′ x \leftrightarrow x' xx其实不能满足极线的约束,我们用 x ˉ , x ′ ˉ \bar{x},\bar{x'} xˉ,xˉ表示没有噪声的点。那么我们可以构建以下优化函数:

C ( x , x ′ ) = d ( x , x ^ ) 2 + d ( x ′ , x ^ ′ ) 2 s u b j e c t   t o   x ′ ^ T F x ^ = 0 C(x,x') = d(x,\hat{x})^2 + d(x',\hat{x}')^2 \\ subject \ to \ \hat{x'}^{T}F\hat{x} = 0 C(x,x)=d(x,x^)2+d(x,x^)2subject to x^TFx^=0

其中 d d d表示两点之间的欧氏距离。这相当于最小化点 X X X的重投影误差,该点 X X X通过与 F F F一致的投影矩阵映射到两个点,如图12.2。

12.4 Sampson approximation (first-order geometric correction)

《计算机视觉中的多视图几何》笔记(12)_第3张图片
我们定义 X X X X ^ \hat{X} X^之间的差为 δ X \delta_X δX
δ X = − J T ( J J T ) − 1 ϵ \delta_X = -J^T(JJ^T)^{-1} \epsilon δX=JT(JJT)1ϵ

其中
ϵ = x ′ T F x J = ∂ ϵ / ∂ x = [ ( F T x ′ ) 1 , ( F T x ′ ) 2 , ( F X ) 1 , ( F X ) 2 ] \epsilon = x'^{T}Fx \\ J = \partial \epsilon/ \partial x=[(F^{T}x')_{1}, (F^{T}x')_{2},(FX)_{1},(FX)_{2}] ϵ=xTFxJ=ϵ/x=[(FTx)1,(FTx)2,(FX)1,(FX)2]

其中 ( F T x ′ ) 1 = f 11 x ′ + f 21 y ′ + f 31 (F^{T}x')_{1}=f_{11}x'+f_{21}y'+f_{31} (FTx)1=f11x+f21y+f31,以此类推。
所以我们可以看出该差值其实是基本矩阵方程关于 x x x的导数
那么 X X X X ^ \hat{X} X^之间的关系可以写成:
X ^ = X + δ X \hat{X} = X + \delta_X X^=X+δX

我们只需要把 δ X \delta_X δX算出来,然后对计算出的理论点 X X X按照上式进行一个纠正就可以了。
《计算机视觉中的多视图几何》笔记(12)_第4张图片

12.5 An optimal solution

本节介绍一种可以找到全局最优解的优化函数,并且是非迭代的,我们同时假设噪声服从高斯分布。

12.5.1 Reformulation of the minimization problem

先对问题进行一个梳理。

我们知道第一幅图的极点一定在极线上,第二幅图的极点也满足这个性质。反过来,在极线上的点也满足基本矩阵的约束。那么就能让观测到的点尽可能靠近极线,也就是找观测点到极线的距离,并使其最小。

所以我们就可以构建出以下损失函数
d ( x , l ) 2 + d ( x ′ + l ′ ) 2 d(x,l)^2 + d(x'+l')^2 d(x,l)2+d(x+l)2

我们的策略如下:

  1. 将极线方程参数化,所以第一幅图像中的极线方程就可以写为 l ( t ) l(t) l(t)
  2. 利用基本矩阵 F F F,和 l ( t ) l(t) l(t)来计算第二幅图像中的极线l ′ ( t ) '(t) (t)
  3. 将损失函数写成 d ( x , l ( t ) ) 2 + d ( x ′ + l ′ ( t ) ) 2 d(x,l(t))^2 + d(x'+l'(t))^2 d(x,l(t))2+d(x+l(t))2
  4. 求解最优的 t t t

12.5.2 Details of the minimization

接下来我们讲一下需要注意的一些细节。

首先,两幅图中对应点都不能与极点重合。

并且,我们可以对两幅图都做一个刚体变换,那么 x , x ′ x,x' x,x就可以被放置在原点 ( 0 , 0 , 1 ) (0,0,1) (0,0,1),那么两幅图的极点分别是 ( 1 , 0 , f ) , ( 1 , 0 , f ′ ) (1,0,f),(1,0,f') (1,0,f),(1,0,f)。我们知道极点也是要满足 F F F的,所以我们有 F ( 1 , 0 , f ) T = ( 1 , 0 , f ′ ) F = 0 F(1,0,f)^T = (1,0,f')F = 0 F(1,0,f)T=(1,0,f)F=0,如此以来我们就可以把基本矩阵表示为一种特殊形式:
F = [ f f ′ d − f ′ c − f ′ d − f b a b − f d c d ] F = \left[ \begin{matrix} ff'd & -f'c & -f'd \\ -fb & a & b\\ -fd & c & d \\ \end{matrix} \right] F= ffdfbfdfcacfdbd

同时我们也知道极线会通过极点 ( 1 , 0 , f ) (1,0,f) (1,0,f),我们再找一个特殊点,那就是极线与 y y y轴的交点 ( 0 , t , 1 ) (0,t,1) (0,t,1),所以极线就可以写成 ( 1 , 0 , f ) × ( 0 , t , 1 ) = ( t f , 1 , − t ) (1,0,f) \times (0,t,1) = (tf,1,-t) (1,0,f)×(0,t,1)=(tf,1,t),那么该直线到原点的距离就是:
d ( x , l ( t ) ) 2 = t 2 1 + ( t f ) 2 d(x,l(t))^2 = \frac{t^2}{1+(tf)^2} d(x,l(t))2=1+(tf)2t2

紧接着我们找下一个极线:
l ′ ( t ) = F ( 0 , t , 1 ) T = ( − f ′ ( c t + d ) , a t + b , c t + d ) T l'(t) = F(0,t,1)T=(-f'(ct+d),at+b,ct+d)^T l(t)=F(0,t,1)T=(f(ct+d),at+b,ct+d)T

该极线到原点的距离:
d ( x ′ , l ′ ( t ) ) 2 = ( c t + d ) 2 ( a t + v ) 2 + f ′ 2 ( c t + d ) 2 d(x',l'(t))^2 = \frac{(ct+d)^2}{(at+v)^2 +f'^2(ct+d)^2} d(x,l(t))2=(at+v)2+f′2(ct+d)2(ct+d)2

于是我们把 d ( x ′ , l ′ ( t ) ) 2 , d ( x , l ( t ) ) 2 d(x',l'(t))^2, d(x,l(t))^2 d(x,l(t))2,d(x,l(t))2 加在一起,记为 s ( t ) s(t) s(t)求导数,令导数等于0,就可以了。

一些讨论 s ( t ) s(t) s(t)是6次多项式,那么它就有6个实根,对应于3个最小值和3个最大值。顺便别忘了检查 x → ∞ x \rightarrow \infty x的情况。

下面我们把整个算法流程重复一遍,对应于P318算法12.1。

算法输入:观测到的对应点 x ↔ x ′ x \leftrightarrow x' xx,基本矩阵 F F F

算法输出:寻找一对 x ^ ↔ x ^ ′ \hat{x} \leftrightarrow \hat{x}' x^x^可以使几何损失函数最小,同时这一对点满足 x ^ ′ T F x ^ = 0 \hat{x}'^{T}F\hat{x} = 0 x^TFx^=0

算法步骤:

  1. 定义一对转换矩阵,可以把 x = ( x , y , 1 ) T , x ′ = ( x ′ , y ′ , t ) T x=(x,y,1)^{T},x'=(x',y',t)^{T} x=(x,y,1)T,x=(x,y,t)T转换到原点
    T = [ 1 − x 1 − y 1 ] T=\left[ \begin{matrix} 1 & & -x \\ &1 & -y \\ & & 1\\ \end{matrix} \right] T= 11xy1

    T ′ T' T的形式与 T T T是类似的

  2. 将基本矩阵 F F F变成 T ′ − T F T − 1 T'^{-T}FT^{-1} TTFT1

  3. 计算左极点 e = ( e 1 , e 2 , e 3 ) e=(e_1,e_2,e_3) e=(e1,e2,e3)和右极点 e ′ = ( e 1 ′ , e 2 ′ , e 3 ′ ) e'=(e'_1,e'_2,e'_3) e=(e1,e2,e3),并且归一化,使得 e 1 + e 2 = 1 e_1+e_2=1 e1+e2=1

  4. 构造两个旋转矩阵,这两个矩阵可以把 e e e旋转到 ( 1 , 0 , e 3 ) (1,0,e_3) (1,0,e3) ( 1 , 0 , e 3 ′ ) (1,0,e'_3) (1,0,e3).
    R = [ e 1 e 2 − e 2 e 1 1 ] R=\left[ \begin{matrix} e_1 &e_2 & \\ -e_2 &e_1 & \\ & & 1\\ \end{matrix} \right] R= e1e2e2e11
    R ′ R' R R R R类似

  5. F F F改成 R ′ F R T R'FR^{T} RFRT

  6. 设置以下等式 f = e 3 , f ′ = e 3 , a = F 22 , b = F 23 , c = F 32 , d = F 33 f=e_3,f'=e_3,a=F_{22},b=F_{23},c=F_{32},d=F_{33} f=e3,f=e3,a=F22,b=F23,c=F32,d=F33

  7. 将第6步中的等式带入 s ( t ) s(t) s(t)中,求解t

  8. 对求得的解进行验证,同时检查 t → ∞ t \rightarrow \infty t 的情况

  9. t t t带入极线方程,找到 x ^ , x ^ ′ \hat{x},\hat{x}' x^x^,极线知道了,观测点 x , x ′ x,x' x,x也知道,求直线上某个点,它要满足到已知点距离最近,由于我们把 x , x ′ x,x' x,x转到了原点,那么问题就转变成了直线上求某一点,它到原点距离最近。书中给出了一个公式,对于一个一般的直线 ( λ , μ , ν ) (\lambda, \mu, \nu) (λ,μ,ν),直线上到原点最近的点是 ( − λ ν , − μ ν , λ 2 + μ 2 ) (-\lambda \nu, -\mu \nu, \lambda^2+\mu^2) (λν,μν,λ2+μ2)

  10. 知道 x ^ , x ^ ′ \hat{x},\hat{x}' x^,x^后,再把他们旋转到原坐标, x ^ = T − 1 R T x ^ \hat{x} = T^{-1} R^{T} \hat{x} x^=T1RTx^ x ^ ′ = T − 1 R T x ^ ′ \hat{x}' = T^{-1} R^{T} \hat{x}' x^=T1RTx^

  11. 可以顺便利用 x ^ , x ^ ′ \hat{x},\hat{x}' x^,x^计算出三维空间点 X ^ \hat{X} X^(三角化,12.2)

12.5.3 Local minima

g ( t ) g(t) g(t)有6个自由度,所以它最多有三个最小值。那么如果用迭代的方法去寻找最小值,可能陷在局部最小值里出不来。

12.5.4 Evaluation on real images

本节大概展示了一些实验结果,在P320

12.6 Probability distribution of the estimated 3D point

估计三维点的概率分布。

通过两幅图像估计出来的三维空间点应该是满足一定概率分布的。其准确与否主要取决于从摄像机出发的,两条射线之间的角度。本节就对这个问题进行建模。书中为了简化这个问题,只考虑空间某平面上的点 X = ( x , y ) T X=(x,y)^T X=(x,y)T,其图像上的点分别表示为 x = f ( X ) , x ′ = f ′ ( X ) x=f(X), x'=f'(X) x=f(X),x=f(X), f , f ′ f,f' f,f 2 × 3 2 \times 3 2×3的矩阵,而不是 3 × 4 3 \times 4 3×4 如果忘了可以复习一下p175 6.4.2节

我们线考虑第一幅图像上的点 x x x,并且我们假设噪声服从均值为0,方差为 σ 2 \sigma^2 σ2的高斯分布,那么在已知 X X X的条件下 x x x的概率分布可以表示为 p ( x ∣ X ) p(x|X) p(xX),对第二幅图上的点 x ′ x' x有相同的结论 p ( x ′ ∣ X ) p(x'|X) p(xX)。那么当 x , x ′ x,x' x,x已知的时候,我们可以用贝叶斯公式反推 X X X的概率分布

p ( X ∣ x , x ′ ) = p ( x , x ′ ∣ X ) p ( X ) / p ( x , x ′ ) p(X|x,x') = p(x,x'|X)p(X) / p(x,x') p(Xx,x)=p(x,xX)p(X)/p(x,x)

再加上 x , x ′ x,x' x,x独立的假设,上式就可以化成

p ( X ∣ x , x ′ ) ∼ p ( x ∣ X ) p ( x ′ ∣ X ) p(X|x,x') \sim p(x|X)p(x'|X) p(Xx,x)p(xX)p(xX)

12.6 线段重建

我们现在要重建空间中的一个线段。它在两幅图像上分别表示为 l , l ′ l, l' l,l。我们可以把 l , l ′ l,l' l,l反投影回去,那么他们在空间中就是两个平面 π , π ′ \pi, \pi' π,π, 这两个平面的交点就是所求直线。我们可以形式化的表示为 π = P T l , π ′ = P ′ T l ′ \pi = P^Tl, \pi' = P'^T l' π=PTl,π=PTl,那么三维空间中的线就可以用这两个平面来表示 ( L L L是一个 2 × 4 2 \times 4 2×4的矩阵)
L = [ l T P l ′ T P ′ ] L = \left[ \begin{matrix} l^T P \\ l'^T P' \end{matrix} \right] L=[lTPlTP]

空间中的点 X X X L L L上,所以 L X = 0 LX=0 LX=0

《计算机视觉中的多视图几何》笔记(12)_第5张图片
《计算机视觉中的多视图几何》笔记(12)_第6张图片

退化的情况

如果这个直线在极平面上,那么上一节的方法就失效了,而且这样直线会和基线相交。在实际情况下,几乎要和基线相交的线也不能用以上方法来重建.

多平面相交的重建

假设有 n n n个平面,那么我们就他们像前文 L L L一样放在一起,形成一个 n × 4 n \times 4 n×4的矩阵 A A A。对 A A A做SDV分解 A = U D V T A=UDV^T A=UDVT,从 D D D中找出两个最大的特征值对应的特征向量,用他们来表示平面,也可以假设空间中直线 L L L投影到各个平面,然后计算投影直线和观测直线之间的几何损失函数,用极大似然估计求解。

你可能感兴趣的:(计算机视觉,笔记,人工智能)