求解图像基础矩阵

目录

 

一、基础矩阵

1.1 对极几何

1.2 基础矩阵原理

1.3 归一化8点法

二、实验内容

2.1 求解基础矩阵

2.2 极点极线显示

2.3 分析

三、总结

---

一、基础矩阵

1.1 对极几何

       对极几何是描述两视射影几何的基本工具，当我们使用两个相机在不同位置对同一场景进行拍摄时，为了描述两幅图像之间的关系，引入对极几何。对极几何是两幅图像之间，两幅图像上的匹配点与以基线（连接两摄像机中心的直线）为轴的平面束的交的几何。

      已知两个摄像头的光心和，为空间中的一点，和是点在两个摄像头成的像中的投影。平面称为外极平面，显然和是和上的，所以该5点共面。外极平面与两个相机的视平面相交于线和，这两条直线称为外极线。在上，′在上。和与相关视平面相交于点和，这两个点分别为和在对方视平面的投影,，称点和为外极点。如下图所示：

      假设和分别是空间中同一点在两个不同视平面上的像点，则一定在上，一定在上，这就是外极线约束。 外极几何可以用一个3阶秩2矩阵来表达，即基础矩阵。

对极几何的几个概念：

1. 基线：连接两个相机中心的连线。图中直线C1C2。
2. 对极平面：一张包含基线的平面。图中如平面XC1C2（灰色平面）。
3. 对极点：基线与像平面的交点，等价的，对极点是在一幅视图中另一个相机中心的像，也是基线方向的消影点。图中e1和e2。
4. 对极线：对极平面与两个图像平面的交线。一个图像中所有对极线相交于对极点。图中x1e1和x2e2。

1.2 基础矩阵原理

     要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小，基础矩阵就是描述了图像中任意对应点 x↔x’ 之间的约束关系，其中F为33的矩阵 ：

基础矩阵是对几何的代数表达方式。其估计方式是通过两幅图像中匹配点来估计的，为了降低误匹配和图像噪音的影响，我们可以使用SIFT匹配来减少错误匹配，同时可以采用RANSAC。

1.3 归一化8点法

原理如下：对于两幅图像的匹配点X和X'，必须满足根据两个视外对极几何：

此方程是关于 F 的9个未知参数的线性齐次方程。由于F在相差一个常数因子意义下是唯一的，所以将其中一个非零参数归一化变为8个未知参数，因此只要得到8个匹配点就可以线性确定F，这就是所谓的8点法。设分别是两图像中对应点的归一化坐标，F为基础矩阵，将F写成由各个元素组成的矢量，即，则对其中X和X’分别表示两幅图像中的对应点的齐次坐标。若两幅图有若干对应特征点，则有：

RANSAC算法可以用来消除错误匹配的的点，然后找到基础矩阵F，算法思想如下： 
（1）随机选择8个点； 
（2）用这8个点估计基础矩阵； 
（3）用这个进行验算，计算用验算成功的点对数； 
重复多次，找到使最大的作为基础矩阵。

8点算法的优点在于其是线性求解，容易实现，运行速度快。但是缺点为对噪声敏感。 

二、实验内容

实验图片：

1、正面拍摄：

2、前后拍摄：

3、左右拍摄：

2.1 求解基础矩阵

2.1.1 基线平行像平面

匹配：

基础矩阵：

2.1.2 相机前后方位

基础矩阵：

2.1.3 左右拍摄

sift匹配及RANSAC消除错配之后图

基础矩阵：

2.2 极点极线显示

1、正面

2、前后

3、左右

2.3 分析

     RANSAC消除错配之后的匹配点变得少很多，但是发现很多的正确点也是被消除了。从平移正面拍摄的结果来看，极线也几近于平行，前后拍摄的极线后面都汇集于一点，拍摄了很多不同物体的左右面，但是发现每次匹配的点都很少，以至于提示错误，所以实验的左右图像角度变化就一点而已，效果不明显。

三、总结

（1）基础矩阵表示的是两视图的对极约束，它是独立于景物结构的，只依赖于摄像机的内部参数和相对姿态。

（2）左右拍摄的实验结果与拍摄的照片有很大关系，最开始的时候因为要看的出明显的左右边，所以拍摄的角度转的很大，导致匹配出来的图片匹配点很少，甚至没有匹配点，所以拍摄左右照片的时候可以适当的减少角度的变化，同时像素也适当修改，既不大幅影响实验也避免像素太大运行卡顿。

问题：

实验遇到了很多的错误，以至于一直在寻找原因没能很快的进行试验，在进行基础矩阵计算的时候总是提示除零的错误，想到之前也遇到过相似的问题，问到的学长说将分子分母的数值加上一个很小很小的值可以避免这个错误，但是对实验结果可能也有一定的影响，其他的方法暂时还没有找到。

遇到最多问题的就是

查了很多发现这个错误应该有很多的原因，有些修改有效，像是配点少的情况，但是有时候匹配点多也有这个问题，错误的原因很多没有完全理解，之后慢慢理解。

参考：

https://blog.csdn.net/qq_40369926/article/details/89351589