单应矩阵 基本矩阵 本质矩阵的区别与联系

1. 叉乘

2. 双目系统

3. 对极几何 (Epipolar Geometry)

对极几何定义：是两个视图间的内部射影几何，它只与摄像机的内部参数和相对位姿有关，与场景结构无关。

基线（baseline）：连接两个摄像机光心的线。

两个视图的对极几何的本质：描述图像平面与一个平面(以基线为旋转轴的平面)的交叉几何关系。

用途（对极约束：Epipolar Constraint）：在双目匹配中，给定左图的一个点，不必在整个右图中搜索对应的点。“对极约束”把搜索空间缩减到一条线。

极点（Epipole）：基线与图像平面的交叉点。即左图的极点：是左摄像机看到右摄像机所在的位置；右图的极点：是右摄像机看到左摄像机所在的位置。

对极平面（Epipolar Plane）：包含基线的平面

对极线（Epipolar Line）：对极平面与图像平面的交叉线。所有的对极线相交于极点，且位于同一对极平面的对极线一一对应。

4. 本质矩阵 (Essential Matrix)-摄像机坐标系

本质矩阵就是在归一化图像坐标下的基本矩阵。不仅具有基本矩阵的所有性质，而且还可以估计两相机的相对位置关系，具体内容可参考《计算机视觉中的多视图几何》。  

     本质矩阵和基本矩阵都是3x3矩阵，且编码两个视图的对极几何。

     在时间上，本质矩阵比基本矩阵先引入。基本矩阵是本质矩阵的推广，本质矩阵与基本矩阵相比有：

     1）更少的自由度

     2）更多的功能特性

4.1 本质矩阵的作用

    1） 给定一个图像上的一个点，被本质矩阵或基本矩阵相乘，其结果为此点在另一个图像上的对极线，在匹配时，可以大大缩小搜索范围。

    2）可用于求R 和 T

4.2 推导过程

      在对极约束条(Epipolar Constraint)件下进行推导。

 

       R: Rotation    T: Translation

4.3 本质矩阵特性

    1) rank (E) = 2  (本质矩阵的秩为2，非常重要)

    2)  本质矩阵仅依赖外部参数（Extrinsic Parameters) （R & T）决定。

    3) 使用摄像机（Camera）坐标系

4.4 Longuet-Higgins方程

    

    上图中的pr、pl为camera坐标系。

4.5 本质矩阵总结

    

     

5. 基本矩阵（Fundamental Matrix）- 像素坐标系

    前提条件：左右图像的光心位置不一样。

5.1 推导过程

      本质矩阵使用摄像机坐标系，通过相机的R & T即可描述。

      为了使用图像坐标，必须考虑摄像机内部参数(Intrinsic parameters)

5.2 基本矩阵的特性

    1) rank (F) = 2  (基本矩阵的秩为2，非常重要)

    2)  基本矩阵依赖内部和外部参数（Intrinsic and Extrinsic Parameters) （f, R & T）决定。

    3) 使用像素坐标系

    4) F就是左边图像到右边图像的基本矩阵，从公式上可以看出基本矩阵是有方向的，右图到左图的基本矩阵就是F的转置

    5) F矩阵是一个7个自由度的3*3矩阵(3*3矩阵本身9个自由度，因为相差一个常数因子和行列式值为0两个条件，减掉2个自由度)，相差一个常数因子的意思是：kF(k!=0)也是基本矩阵，也就是说如果F是基本矩阵，那么kF也是基本矩阵，所以基本矩阵不唯一，在相差一个倍数的前提下是唯一的，也就是我们可以固定矩阵中某一个非零元素的值，这样自然少一个自由度。

   6) 属性表

 

5.3 基本矩阵的作用

    1) 与本质矩阵类似，基本矩阵也告诉我们一个图像中的像素如何与另一个图像的极线相关联。

        (像素坐标系：像素-->极线)

    2) 三维重建和特征匹配上

    3) 基本矩阵独立于场景结构

    4) 它可由场景点在图像中的对应关系进行计算，而不需要摄像机的内参和外参来进行计算。

    5) 相反，可以先求出F，然后根据F求出摄像机的外参(R, T)

5.4 本质矩阵与基本矩阵的比较

5.5 其它（来自MVG)

5. 单应矩阵(Homography Matrix)

5.1 Projective transformations

      2D projective geometry is the study of properties of the projective plane IP2 that are invariant under a group of transformations known as  projectivities. 

    

      A projectivity is also called a collineation (a helpful name), a projective transformation or ahomography: the terms are synonymous.

     单应矩阵实际就是个透视变换矩阵，纯2D变换，我知道的只是用在了BA里做为一种约束条件而已。

6. 仿射变换（Affine Transformations）

7. 相似变换Similarity Transformations

8. Camera Matrix