高博14讲--第七讲 视觉里程计-7.3 2D-2D:对极几何（未完待续）

基本问题

    当相机为单目时，只知道2D的像素坐标，根据两组2D点估计相机的运动，用对极几何来解决。

对极约束

  两个相机之间的变换为$T_{12}$：$p_1=T_{12}\cdot p_2$，即：通过$P_2$的坐标乘以$T_{12}$，即可求得$P_1$的坐标 。
 
  在实践中：

• 已知：匹配点对$p_1$，$p_2$的像素坐标。
• 给定：两张二维图像，二维图像上特征点的匹配关系。
• 未知：P的三维空间坐标，$I_1$到I$I_2$​的变换矩阵($T_{1,2}$, 即$R,T$)。
  
  
• 一般是用于单目SLAM的初始化，用对极几何可求出位姿，在用三角测量估计三维空间点的位置后，就能用其他更准确的方法继续求解了。

对极约束推导过程

  设P在图1的相机坐标系下，坐标为：$$P=[X,Y,Z{]}^T$$
  $p_1$，$p_2$的像素坐标（单位像素）：$$s_1{p}_1=KP,s_2{p}_2=K(RP+t)$$
    $K$为相机的内参矩阵，$R,t$为两个坐标系的相机运动。
  使用齐次坐标，上式乘以非零常数都成立：$$p_1=KP,p_2=K(RP+t)$$
  其归一化平面坐标（单位米）：$$x_1=K^{-1}{p}_1,x_2=K^{-1}{p}_2$$
  得到：$$x_2=R{x}_1+t$$
  这里的$x_1,x_2$是齐次坐标，等式表达了一个齐次关系。

  两边同时左乘$t$^，即：两侧同时与$t$做外积，即，与$t$作叉乘：$$t\times x_2=t\times R{x}_1+t\times t$$
  $t$与$t$作叉乘，夹角为0，则结果为0，即：$t\times t=0$，上式化简为：$$t\times x_2=t\times R{x}_1$$
  两侧同时左乘$x_2^T$：$$x_2^{T}t\times x_2=x_2^{T}t\times R{x}_1$$
  左式中，$t\times x_2$是一个与$t$ 和 $x_2$都垂直的向量，把它再和$x_2$做内积时，将得到0。

  所以得到对极约束，$x_1,x_2为归一化坐标$：$$x_2^{T}t\times R{x}_1=0$$
  重新带入$p_1,p_2$，$p_1,p_2为像素坐标$：$$p_2^T{K}^{-T}t\times R{K}^{-1}{p}_1=0$$
  上面两式子为对极约束，几何意义是：$O_1，P,O_2$三者共面。

  定义本质矩阵$E$（Essential Matrix）和基础矩阵$F$（Fundamental Matrix）:$$E=t\times R，F=K^{-T}EK-1$$
  所以对极约束简写为：$$x_2^{T}E{x}_1=p_2^{T}F{p}_1=0$$
  根据对极约束，相机位姿估计问题变为以下两步，即估计$R,t$的方法为：

    1.根据匹配点的位置，求出$E$或者$F$。

    2.根据$E$或者$F$，求出$R,t$。

本质矩阵

  本质矩阵长什么样子：
    · $E=t\times R$,$E$是一个3×3的矩阵，内有9个未知数。

    · $E$在不同尺度下是等价的（$E$具有尺度等价性）：由于对极约束是等式为零的约束，所以对$E$       乘以任意非零常数后，对极约束依然满足。

    · 平移和旋转各有3个自由度，所以 $t\times R$共6个自由度。由于$E$具有尺度等价性，这是由于对极约束         的性质，其乘任意非零向量依然满足，即增加一个约束条件，所以6个自由度中可以去掉一个，        所以$E$实际有5个自由度。

八点法

  · $E$具有5个自由度，最少使用5对点来求解$E$。但是，$E$具有一种非线性性质，在求解线性方程时会      很麻烦。
  · 把$E$当成一个3×3的普通矩阵，共9个自由度，由于$E$的尺度等价性，$E$具有8个自由度，使用8对点      来估计$E$，这就是“八点法”。

八点法推导过程

  一对匹配点，它们的归一化坐标为$x_1=[u_1,v_1,1{]}^T,x_2=[u_2,v_2,1{]}^T$，根据对极约束，有：
$$[u_1,v_1,1]\left[\begin{array}{ccc}{e}_1& e_2& e_3\\ e_4& e_5& e_6\\ e_7& e_8& e_9\end{array}\right]\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=0$$
把$E$展开，写成向量的形式：
$$e=[e_1,e_2,e_3,e_4,e_5,e_6,e_7,e_8,e_9{]}^T$$
把对极约束写成与$e$有关的线性形式：
$$[u_1{u}_2,u_1{v}_2,u_1,v_1{u}_2,v_1{v}_2,v_1,u_2,v_2,1]e=0$$
同理，对于其他店对也有相同的表示。把所有点都放在一个方程中，变成线性方程组（$u^i,v^i$表示第$i$个特征点）：
$$\left[\begin{array}{ccccccccc}{u_1}^1{u_2}^1& {u_1}^1{v_2}^1& {u_1}^1& {v_1}^1{u_2}^1& {v_1}^1{v_2}^1& {v_1}^1& {u_2}^1& {v_2}^1& 1\\ {u_1}^2{u_2}^2& {u_1}^2{v_2}^2& {u_1}^2& {v_1}^2{u_2}^2& {v_1}^2{v_2}^2& {v_1}^2& {u_2}^2& {v_2}^2& 1\\ ...& ...& ...& ...& ...& ...& ...& ...& ...\\ {u_1}^8{u_2}^8& {u_1}^8{v_2}^8& {u_1}^8& {v_1}^8{u_2}^8& {v_1}^8{v_2}^8& {v_1}^8& {u_2}^8& {v_2}^8& 1\end{array}\right]\left[\begin{array}{c}{e}_1\\ e_2\\ e_3\\ e_4\\ e_5\\ e_6\\ e_7\\ e_8\\ e_9\end{array}\right]=0$$
由上式可以求得$E$，根据$E$求取相机的运动$R，t$。

本质矩阵$E$的SVD分解

  根据$E$求取相机的运动$R，t$，对$E$进行奇异值分解（$SVD$）：
  设$E$的SVD分解为：
$$E=U\Sigma V^T$$
  其中 $U,V$为正交阵，$\Sigma$为奇异值矩阵。根据本质矩阵$E$的内在性质，$E$的奇异值必定为$[\sigma ,\sigma ,0{]}^T$,      所以$\Sigma =diag[\sigma ,\sigma ,0]$

  在$SVD$分解中，对于任意一个$E$，存在两个可能的$t,R$与它对应：
$$t_1^{\Lambda }=U{R}_Z(\frac{\pi }{2})\Sigma U^T,R_1=U{R}_Z^T(\frac{\pi }{2})V^T$$
$$t_2^{\Lambda }=U{R}_Z(-\frac{\pi }{2})\Sigma U^T,R_2=U{R}_Z^T(-\frac{\pi }{2})V^T$$
 其中$R_Z^T(\frac{\pi }{2})$表示沿$Z$轴旋转$90^{\circ }$得到的旋转矩阵。


  由于$-E$和$E$等价，所以任意一个$t$取负号，也会得到相同的结果。因此，从$E$分解到$t,R$时，一共存在4个可能的解。
（1）$P$在$O_1，O_2$两个相机的前面，深度都为正。
（2）$P$在$O_1，O_2$两个相机的后面，深度都为负。
（3）$P$在$O_1$相机的后面，深度为负；在$O_2$相机的前面，深度为正。
（4）$P$在$O_1$相机的前面，深度为正；在$O_2$相机的后面，深度为负。
假设一共有N个特征点，则列出如下线性方程组：

八点法的讨论

（1）用于单目SLAM的初始化
    一开始，相机在运动时，只知道图像与图像之间的关系，只知道第一帧图像的特征点与第二帧图像的特征点之间的匹配关系，只能得到$2D-2D$之间的关系。
    当初始化之后，可以得到$3D$的点。当知道这两帧图像之间相机的运动，并计算出图像中点的深度值，这样就有$3D$的点，之后使用$3D-2D$的$PnP$算法求解。
（2）尺度不确定性：归一化或特征点的平均深度
    一开始，
    当初始化之后，

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。¹

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接

长方形

圆

圆角长方形

菱形

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0 开始 我的操作 确认？ 结束 yes no

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. 注脚的解释 ↩︎