7-17-7.24 三维重建

3D重建

context capture中无人机航拍建模的基本原理

• 如何测量物体的实际长宽数据
  1.添加用户控制点
  2.添加范围约束，标定两个控制点之间的实际距离

• 无人机航拍中坐标和经纬度信息是如何确定的
  pos数据由飞控系统在相机拍照时生成，与相片一一对应，赋予相片丰富的信息，包括经纬度、高度、海拔、飞行方向、飞行姿态等。
  一般来说A为编号，B为日期，DEF分别为XYZ坐标，GH为经纬度，IJK为飞机的姿态坐标。

• 三维重建计算
  调整重建范围及瓦片大小，将原框架分为若干个大小相同的数据切块，分块进行重建计算。

多视图三维重建

• 相机内参与外参
  相机标定：求内参和外参
• 世界坐标系——相机坐标系——像素坐标系、像坐标系
  世界坐标系<——>相机坐标系（外参） 相机坐标系<——>像素坐标系（内参）
• 相机位姿：相机摆放的姿势不同，旋转平移矩阵
• 单幅图无法还原深度信息；两视几何：可以通过两个相机以及公共点去还原深度信息，获取姿态参数；多视几何

3D重建过程：SIFT+SFM（运动恢复结构）+MVS

• SIFT（Scale Invariant Feature Transform），特征提取匹配
• SFM——Structure from Motion（运动恢复结构），通过相机运动恢复出稀疏的三维点坐标。有增量式、全局式、混合式三种
  增量式：
  优：精度高，鲁棒性强；迭代增量型重建。通过RANSAC不断过滤外点，不断优化场景结构
  缺点：图像连续性；误差积累；反复捆绑造成时间浪费
  最小化重投影误差：解决点云无法融合；投影点和提取点存在差异 ，两个图像提取了红色同名点，计算出自带参数，但是一幅图中的点利用自带参数投影到第二幅图时，与同名点有偏差

全局式：
一次性全局重建；不用考虑顺序；效率高；没有误差积累
鲁棒性不足；场景不够完整

混合式：
误差积累和鲁棒性都有提升；捆绑次数较少

• MVS——Multi-view Stereo（密集重建）：SSD SAD NCC
  同名点
  分类：基于体素/点云扩散/深度图融合

商汤项目：NeuralRecon

• 通过摄像头（简易设备进行三维重建）
• 单目解决方案；不需要深度信息，都给深度学习做；没有点云
  输入序列——深度学习（深度估计——点云）——融合
  带深度学习的三维重建：在传统式三维重建中，深度估计非常重要，这部分可以交给深度学习去做
• End2End框架
• 关键帧选择——输入序列（9张图）——片段重建——全局合成
• 整体融合思想类似于RNN，迭代式融合输入片段；逐个搞定，顺序执行；GRU