ORB-SLAM2与OpenMVS对接实现三维重建
详细介绍如何实现ORB-SLAM2与OpenMVS的对接过程，打通上下游实现三位重建，二话不说先干图
对于学SLAM的同学对ORB-SLAM2可能并不陌生，系统框架清晰明了，代码风格清新脱俗，几乎都快成为入门SLAM的必修课了。三维重建结构分为SFM和MVS这两个部分，常见的三维重建方法如图所示
对于学过SLAM的同学看到这可能就觉得不舒服了，对于SLAM和三位重建这俩同宗师兄弟竟然都不给介绍介绍，这那说的过去，确实对与SLAM，我们所理解的实时定位与建图其实他同样可以充当Sturt form Motion的角色，为MVS提供初始的相机位姿与稀疏点云。
本文以ORB-SLAM2与OpenMVS为例，详细介绍对接过程：
ORB-SLAM2位姿导出
为与OpenMVS进行对接本次进对ORB-SLAM2进行部分修改，使之可以为OpenMVS提供稀疏点云、关键帧的位姿、内参，以及稀疏点云在各个View中的可见性。
主要更改如下
- 在Map文件下增添如下函数
public:
void Save(const string &filename,const cv::MatSize image_size);
void SaveMapPoint(ofstream &f, MapPoint* mp);
void SaveKeyFrame(ofstream &f, KeyFrame* kf);
protected:
std::vector<int> KeyId;
- 在System下增加：
void System::SaveMap(const string &filename,const cv::MatSize image_size);
- 在mono_tum.cc或者orbslam的其他Examples中对System::SaveMap(const string &filename,const cv::MatSize image_size)这个函数进行调用即可。
SLAM.SaveMap("../Examples/output/sfm.txt",im.size);
通过ORB-SLAM2 我们最终生成了sfm.txt这个保存相机位姿以及稀疏点云的文档，他的文件结构如下图所示
数据集地址： https://vision.in.tum.de/data/datasets/rgbd-dataset/download#freiburg1_plant
以下是我们运行数据集的效果
sfm.txt的文件内容为：
ORB-SLAM2导出位姿验证
在与OpenMVS 进行对接之前，一定确保自己导出的信息是准确的，可以将相机三位空间坐标点以及相机在空间中的位置保存成ply、obj等三维格式，在meshlab中进行查看，或者如果你用的rgb-d相机的话，同样可以将深度图、rgb图一同投影下来，在meshlab下进行查看
下面则是我们根据得到的数据开始对OpenMVS进行初始化
OpenMVS初始化
为与SLAM进行对接，我们加入了read_pose.cpp、read_pose.h这两个c++文件，目的是对SLAM导出的位姿和稀疏点云进行读取，并对OpenMVS进行初始化。
主要核心函数有
bool load_scene(string file,Scene &scene);
bool read_mvs_pose(string file,MVSPOSE &mvs_pose);
bool save_pointcloud_obj(string name, vector<POINT3F> points,int num_keyframes,RGB color)
我们只需要在DensifyPointCloud.cpp下 对加入函数如下
// load and estimate a dense point-cloud
#define use_custom_pose
#ifdef use_custom_pose
if(!load_scene(string(MAKE_PATH_SAFE(OPT::strInputFileName)),scene))
return EXIT_FAILURE;
#else
if (!scene.Load(MAKE_PATH_SAFE(OPT::strInputFileName)))
return EXIT_FAILURE;
#endif
即可实现我们的初始化操作
对接结果
一下分别为稠密重建后的深度图融合、mesh重构、mesh优化以及问题贴图效果
InterfaceDensifyPointCloud接口理解
Scene.image中包含 尺度 分辨率 name 以及相关连的相机(这个platforms里面放置的是相机的内参和位姿)
在platforms中包含相机的内参 位姿
Camera类中包含相机ID 分辨率 相机内参，通过Read函数对stream进行读取自身参数
Image类这里包含图片ID，外参，相关连的相机，图片name以及稀疏点在当前图片的投影点
IMAGE_ID, QW, QX, QY, QZ, TX, TY, TZ, CAMERA_ID, NAME
Point类中 点的ID，位置，颜色，以及当前点的可见图像id
首先明确一点，我们SLAM的内容要如实的传入到Scene这个类中
首先将数据传入imgaes中
然后将数据传入platforms中
以及poses
对于想对其进行了解的同学可以到Bilibili观看我在计算机视觉life上的分享https://www.bilibili.com/video/BV1yX4y1A7qR?t=1
OpenMVS对SLAM位姿初始化部分已经合并到github: https://github.com/electech6/openMVS_comments
对于想要单独下载更改的文件的可以访问github: https://github.com/WangWen-Believer/ORB_SLAM2-to-OpenMVS