Fusion++: Volumetric Object-Level SLAM

Fusion++ 是一篇重建物体tracking和relocalization.

图片来自论文

1. 首先利用的mask rnn检测物体(instance), 然后对检测出的用TSDF进行重建，这里不仅重建了物体，还重建了物体周围的背景；

图片来自论文

２. 新来一帧，先做local tracking. Local tracking 是将世界坐标系下的点render到当前当前相机下，计算point-to-plane error,　得到absolute pose，然后更新tsdf model.  将建立的tsdf, 反投影到当前帧，找出与该model Iou匹配最高的mask, 然后利用该mask上的深度值和rgb来更新此tsdf.

3.optimization. 　以物体的tsdf为中心建立物体坐标系，然后利用transformation之间（相机坐标系，物体坐标系，世界坐标系）的关系建立约束，进行优化。

４.relocalization.  BRISK feature + 3D-3D RANSAC +  OpenGV

########################################################

最近为了做论文对比，复现了fusion++, 放几个图

第一行是48帧同一物体建立的tsdf的椅子，然后用marching cube提出来，第二个是我们实验的结果