第五篇 openvslam建图与优化模块梳理

建图模块

mapping_module在初始化系统的时候进行实例化，在构建实例的时候会实例化local_map_cleaner和local_bundle_adjuster。系统启动的时候会在另外一个线程中启动该模块。

// src/openvslam/system.cc:78
mapper_ = new mapping_module(map_db_, camera_->setup_type_ == camera::setup_type_t::Monocular);

// src/openvslam/system.cc:123
mapping_thread_ = std::unique_ptr(new std::thread(&openvslam::mapping_module::run, mapper_));

image

对新增的关键帧进行建图

// src/openvslam/mapping_module.cc:128
void mapping_module::mapping_with_new_keyframe()

对新增的关键帧进行建图mapping_with_new_keyframe
    取出队列中最早放入的关键帧
    设置原始关键帧ID
    将新关键帧保存入数据库store_new_keyframe
        计算当前关键帧的BoW特征向量
        获取当前关键帧的lm
        如果当前关键帧可以观测到该lm，将lm添加入local_map_cleaner的fresh_landmarks中
        否则
            添加lm的观测
            更新lm几何信息
            计算lm的描述子
        更新图连接update_connections
            获取图关键帧所有lm
            统计出共视关键帧以及共视lm数量情况，筛选出共视lm大于15的关键帧weight_covisibility_pairs
            寻找出共视lm数量最多的关键帧当做最近的共视关键帧
            图中添加连接add_connection
            对weight_covisibility_pairs进行降序排列，更新ordered_covisibilities_和ordered_weights_
            更新生成树。最近的共视关键帧设置为父树，当前关键帧为子树
        存储关键帧
    去除冗余的lm（remove_redundant_landmarks）
        移除的逻辑
        1. observed_ratio小于观测门限，需要从局部地图buffer和数据库中移除；
        2. 如果lm被添加之后一段时间内，被观测到的其他帧观测到的次数<=2,则认为时无效帧，需要从局部地图buffer和数据库中移除；
        3. 如果lm被添加之后一段时间内被多次观测到，则认为该lm有效，只从局部地图buffer中移除；
    依据当前关键帧和共视关键帧重新三角化lm（create_new_landmarks）
        获取当前关键帧权重高的共视关键帧
        逐个计算当前关键帧与共视关键帧之间的本质矩阵
        利用本质矩阵计算出两关键帧lm的匹配情况
        三角化匹配的lm，三角化成功的点将添加入库
    检测处理重复的lm（update_new_keyframe）
        获取两层共视关键帧
        融合重复的lm(fuse_landmark_duplication)
            获取当前帧的lm
            逐个共视关键帧去重（replace_duplication）
                如果lm没有被共视关键帧观测到
                将lm重投影至该共视关键帧，提取共视关键帧投影区域附近的特征点，如果相似度很高且重投影误差很小，
                使用共视关键帧的lm点取代当前的lm，如果共视关键帧没有对应的lm则把当前lm添加到共视关键帧
            获取所有共视关键帧的lm集合再次进行去重（replace_duplication）
                这里和上面去重输入参数是不一样的，这里的关键帧是当前关键帧，lm是共视关键帧lm集合
        更新当前帧lm几何信息和图连接
    进行局部地图BA（local_bundle_adjuster）
    祛除冗余的关键帧remove_redundant_keyframes
        获取当前关键帧的共视关键帧
        逐个共视关键帧计算冗余观测count_redundant_observations
            获取当前共视关键帧的lm
            逐个lm统计其共视关键帧数量，如果不小于3个就认为lm是冗余的num_redundant_obs++
            lm深度有效就认为是有效的lm，num_valid_obs++
        如果num_redundant_obs / num_valid_obs > 0.9，则认为该共视关键帧是冗余的，移除掉
将新的关键帧发送给全局优化模块队列

观测门限清理

在跟踪模块优化局部地图optimize_current_frame_with_local_map时，首先会统计出当前帧可以被观测到的lm，会调用lm->increase_num_observable()，位姿优化后统计inlier的lm，调用lm->increase_num_observed()，因此num_observed_记录的是跟踪过程中真正有效的lm，num_observable_记录的是局部地图中可以被当前帧观测到的lm，如果num_observed_ / num_observable_的值很小的话，说明该lm对位姿评估没有太大意义，可以从局部地图buffer和数据库中清除掉。

// src/openvslam/tracking_module.cc:340
bool tracking_module::optimize_current_frame_with_local_map()

全局优化模块

和建图模块一样，全局优化模块global_optimization_module在初始化系统的时候进行实例化，在构建实例的时候会实例化graph_optimizer、loop_detector和loop_bundle_adjuster。系统启动的时候会在另外一个线程中启动该模块。

// src/openvslam/system.cc:80
global_optimizer_ = new global_optimization_module(map_db_, bow_db_, bow_vocab_, camera_->setup_type_ != camera::setup_type_t::Monocular);

// src/openvslam/system.cc:124
global_optimization_thread_ = std::unique_ptr(new std::thread(&openvslam::global_optimization_module::run, global_optimizer_));