基于图像的三维模型重建 ——双视角SFM

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者：梦寐mayshine

链接：https://zhuanlan.zhihu.com/p/130879159

本文转载自知乎，作者已授权，未经许可请勿二次转载。

一、三角量测(Triangulation)

已知相机参数和匹配点恢复三维点的坐标

• 第 i 相机投影矩阵:  

• 三维点点坐标:

• 在第 i 个视角中投影的图像坐标为:

• 根据投影方程可以得到:

• 上述等式两侧同时叉乘 xi:

• 即：注意 第3个方程与前两个方程线性相关
   

• 1个观察点提提供2个约束， 有 个自由度，至少2对点

二、3D-2D: PnP问题 (已知三维点和对应二维点求解相机内外参数)

1. 直接线性变换法

2. 其他常用方法

• P3P法:需要4对不共面的点 求出2D点在当前相机坐标系中的3D点，然后 进行3D-3D的姿态求解

• https://www.cnblogs.com/mafuqiang/p/8302663.html

• Complete Solution Classification for the Perspective-Three-Point Problem

• A novel parametrization of the perspective-three-point problem for a direct computation of absolute camera position and orientation

• ePnP法:需要(>=4不共面或者3对共面) 点进行求解

• https://www.cnblogs.com/jian-li/p/5689122.html

• EPnP: Efficient Perspective-n-Point Camera Pose Estimation

三、捆绑调整Bundle Adjustment

1. 问题阐述：同时对三维点位置和相机参数进行非线性优化

2. 无约束非线性最小优化问题：

• 优化上述问题的最优解通常是指它的局部最优解，因此需要一个较好的初始值

3. 最速下降法--假设函数一阶可微

• 假设 在 处可微，则在此处有泰勒展开式

• 当 时可保证g   的值是在下降;

• 当 时，可达到最快的下降速度(略去高阶不计)

4. 牛顿法--假设函数二阶可微

• 假设 在 处二阶可微，且假定二阶导数 总是正定的， 则它在 处，以 的二阶近似函数

• 的极小值点作为下一次迭代点 。

• 对上式求梯度并令其等于0，可以得到
  

• 特性：

• 1)速度快 最速下降法是局部平面拟合，牛顿法是局部二次曲面拟合

• 2)计算量大 需要计算和保存二阶Hessian矩阵的逆矩阵

• 3)要求初始点离最优点较近 否则无法保证收敛，甚至无法保证下降性

5. Levenberg-Marquardt法-原理与优势

• 原理: 是一种“信赖阈”的方法，当收敛速度较快时，增大信赖域，使算法趋向于牛顿法;当收敛速度较慢时，减小信赖域，使算法趋向于最速梯度法

• 优势:

• 速度快，只用到一阶矩阵

• 可以在距离初始值较远处得到最优解

• 实现

• 算法流程

• 增量规方程的求解

• 正规方程的求解

• 雅阁比矩阵的计算

四、捆绑调整的几种形式

1.同时优化相机和三维点

2. 优化相机：固定三维点坐标，优化相机参数

3.只优化三维点：固定相机参数

4.单目相机——内参数共享

五、运动恢复结构SFM

• 定义：通过相机运动同时恢复相机参数和场景结构

• 特征检测与匹配

• 双视点几何

• 网络连接图

• Tracks

• 捆绑调整（BA)

六、增量运动恢复结构 Incremental SFM

1.初始相机的选取

2.RANSAC三角量测

3.Tracks滤波

4.全局的捆绑调整

• 主要优点

• 将误差均匀分布在连接图上， 没有误差积累

• 不需要考虑初始相机选取和 相机添加顺序问题

• 仅执行一次捆绑调整，重建 效率高

• 主要缺点：

• 鲁棒性不足，相机位置求解时对匹配外点敏感

• 过滤连接图边界，容易造成部分图像丢失

5.重建新的视角

1）选择新的视角：可见的tracks数目最多

2）恢复新建相机姿态：找到3D-2D对应关系；用ransac-pnp算法求解相机姿态

3）单个相机的捆绑调整：相机姿态的非线性优化

4）tracks重建：增加视角之后会产生新的tracks（大于两个视角的匹配点）

5）tracks滤波：对重建的tracks进行外点去除

6）全局捆绑调整：对场景中所有的相机和三维点进行非线性优化；每重建一个视角运行一次，也可以重建多个视角运行一次

---

1.    增量捆绑调整的优缺点——常用来做算法比较的基准

• 主要优点：

• 对特征匹配外点鲁棒

• 重建精度高

• 捆绑调整不断优化场景结构

• 主要缺点：

• 对初始相机对的选取以及相机添加顺序敏感

• 大场景产生累计误差导致场景漂移

• 重复进行捆绑调整，效率低

• 重建结果：

2.焦距的获取

• 自标定的方法获取初始值，如 VisualSFM

• 从可交换图像文件中读取EXIF初始值 如 Bundler

3.尺度不确定性：需要GPS进行地理标注

4.动态物体：标准的sfm只能重建场景中的动态物体

5.重复结构

6.非朗伯面：找不到足够的匹配特征点

推荐阅读：

吐血整理|3D视觉系统化学习路线

那些精贵的3D视觉系统学习资源总结（附书籍、网址与视频教程）

超全的3D视觉数据集汇总

大盘点|6D姿态估计算法汇总(上)

大盘点|6D姿态估计算法汇总（下）

机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

汇总|3D点云目标检测算法

汇总|3D人脸重建算法

那些年，我们一起刷过的计算机视觉比赛

总结|深度学习实现缺陷检测

深度学习在3-D环境重建中的应用

汇总|医学图像分析领域论文

大盘点|OCR算法汇总

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会（ICRA/IROS/ROBIO/CVPR/ICCV/ECCV等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近1000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题