kinectfusion kinectfusion

使用Kinect采集景物的点云数据，经过深度图像增强、点云计算与配准、数据融合、表面生成等步骤，完成对景物的三维重建。

 

深度图像的获取

景物的深度图像由Kinect在Windows平台下拍摄获取，同时可以获取其对应的彩色图像。为了获取足够多的图像，需要变换不同的角度来拍摄同一景物，以保证包含景物的全部信息。具体方案既可以是固定Kinect传感器来拍摄旋转平台上的物体；也可以是旋转Kinect传感器来拍摄固定的物体。

 

点云配准

 

性能优化

Kinect等深度传感器的出现，不仅给娱乐应用带来了变革，同样对科学研究提供了新的方向。尤其是在三维重建领域。然而由于三维重建过程涉及到大量密集的点云数据处理，计算量巨大，所以对系统进行相应的性能优化显得非常的重要。

 

 

KinectFusion：用运动的深度相机进行实时3D重建及交互    *

 KinectFusion使用户可以手持Kinect移动，仅用Kinect的深度信息来追踪传感器的3D姿态，实时重建室内场景的详细3D模型。 本文详细描述了KinectFusion的作用性能和新提出的基于GPU的流水线。 我们展示了这个低成本手持扫描设备，几何感知增强现实，实物交互的核心系统。 此核心GPU流水线的新扩展论证了：不降低摄像头追踪和重建的精确度，直接在设备前和用户交互，物体分割。这些扩展可以使在任何平面或三维重建物体表面都可以实时多点触控交互。

一 . 引言

       

       深度摄像机不是新概念，但Kinect以前的类似设备都很贵。考虑到实时特性，价格便宜，深度感知的质量优异，Kinect已经吸引了大批研究人员和爱好者。

 

        Kinect运用结构良好的光学技术形成实时的实物场景的离散测量点深度图。这些测量值可以投影变换到一系列离散3D点（或点云）。虽然与别的可商用的深度摄像机所提供的深度数据相比有优势，Kinect的噪声（图2B和3左）也会引起深度测量值波动，深度图包含没有读到的“空洞”。

 

        应用于游戏，物理，或CAD，高等级表面几何等的3D模型都需要来源于这些有噪音的点数据。一个简要方法是做出如下强假设： 可利用周边点的连接性（深度数据）来生成一个mesh。但结果噪声明显，并且只是从单一固定角度观看，如图2C。要生成一个完整严密的3D模型，必须从不同视角捕获实物场景，并融合成一个单一表示。

 

 

        本文展示了一个新的交互性重建系统（KinectFusion）。系统实时的从移动着的Kinect摄像头中获得深度数据，实时创建一个高质量，几何精确的3D模型。一用户手持标准kinect，可在室内任意移动，并在几秒内重建出实物场景的3D模型。系统连续跟踪标定摄像头姿势的六个自由度，把场景的不同新视角融进一个global surface-based展示。一个新的GPU流水线使精确的摄像头跟踪和实时交互速度的表面重建成为可能。本文详细描述了我们新系统的性能和GPU流水线的详细实现。

 

        KinectFusion用一个廉价的手持扫描设备，核心应用为从重建的场景中分割感兴趣的物体的新型交互方法。我们也表明实时3D模型如何应用于几何感知的增强现实和以实物为基础的交互。这个交互把虚拟世界和现实世界更真实的融合。

        

        把这个系统放在用户需要在传感器前与之动态交互的环境中，揭示了一个基本的挑战：我们无法假定场景在摄像头前静态不动。我们举出了一个用户在摄像头前移动所造成的失败案例，我们也阐述了一些新方法来克服。最终使摄像头得以追踪并重建一个静态的背景场景，同时分割，重建，跟踪前景物体，包括用户在内。我们用这个方法可以在任何位置建立实时多点触控交互，使用户可以方便的触控任何物质表面，不论平面还是非平面的。

 

三维重建的步骤