图像三维重建第六期-Scan2CAD: Learning CAD Model Alignment in RGB-D Scans

论文地址

项目地址

摘要

      我们展示Scan2CAD，一个新颖数据驱动方法学习一个对准的3D CAD模型从一个基础数据对噪声和不完整几何的RGB-D扫描。对于一个3D重建一个室内场景，我们的输入一系列的CAD模型，和预测一个9维姿态能够对齐每个模型的基本扫描几何。为解决这个问题，我们创建一个新的扫描到CAD对齐数据集基于1506扫描网络扫描97607来注释关键点对在14224CAD模型从ShapeNet和他们的对应目标在扫描中。我们的方法选择一系列展示关键点在一个3D扫描，我们发现对应的CAD几何。最后，我们设计一个新颖的3D CNN 架构来学习一个加入嵌入在真实和人工的目标，因此预测一个对应的热度图。基于这些对应的热度图，我们累加一个可变的能量最小化，对齐一个给定的CAD模型来重建。我们评估我们的方法在我们新的引入的Scan2CAD基准，我们性能优越在手工特征对的先进CNN基本的方法，提高了21.39%。

系统框架

效果展示

论文主要完成：设计一个Scan2CAD，来对齐一系列CAD模型到3D扫描通过预测对应以热度图形式，然后优化这些对应的预测。

实现步骤

1、自己创建一套新的数据集包含97607对关键点注释，定义对齐的14225个目标；

2、使用上面的数据集，设计3D CNN预测对应的热度图在CAD 和 3D 扫描之间的；

3、使用热度图，使用累加能量最小化的来优化CAD模型和3D扫描；