ar+sfm

增强现实(Augmented Reality，AR)是在虚拟现实技术基础上发展起来的一种新的跨学科的技术，它将计算机产生的虚拟图像融合到使用者所看到的真实世界景象中，使用者可以从虚拟模型中获得额外的信息，从而对真实环境进行增强。AR技术可以用作外科手术可视化的辅助工具，通过AR技术将CT或MR等医学图像三维重建的虚拟模型实时融合到病人相应的身体部位，从而对外科手术进行指导。为了把虚拟信息和真实信息融合起来，我们需要知道真实的手术场景的信息，这样就需要对外科手术场景和手术对象进行三维重建。 通过不同视角拍摄的图像恢复物体的形状是计算机视觉的分支，传统上称为从运动恢复结构(Structure from Motion，SFM)，主要用于新视图的合成、相机的标定、导航、识别、虚拟现实、增强现实等等。我们利用计算机视觉的知识，用不同视角的两视图来实现手术外科场景和手术对象的三维重建。首先利用Harris角点检测器实现的特征点的检测，然后用基于互相关的技术实现特征点的匹配。 基础矩阵F包含了关于相机运动参数和相机内部参数的所有信息，场景和物体的三维重建可以从这些信息中推导出来，所以基础矩阵的估计过程是三维重建的关键之一。我们研究并实现了估计基础矩阵的迭代加权最小二乘方法、线性和非线性方法，并在MAPSAC算法的基础上，提出了MAPSACNL算法，实验证明，用该方法估计基础矩阵，对于迭代次数、角点数量、ζ值的变化，都具有更强的鲁棒性和更小的Sampson误差值。 增强现实系统需要实时地检测出摄像机相对于真实场景的位置和方向，以便能够根据这些信息实时确定所需要添加的虚拟三维模型在真实世界中的正确位置，这就是增强现实系统中配准所要完成的任务。三维配准定位技术是实现增强现实的基础，是决定增强现实系统性能优劣的关键，而求解摄像机的位置和方向属于计算机视觉中像机标定的内容。我们研究了摄像机传统的标定技术和自标定技术，并重点实现了Zhang的平面模板的标定技术，求出了像机的内外参数。还实现了Sturm的自标定技术，在假定内参数只有焦距未知的像机的简化模型中，求解出焦距，进而求出内参数矩阵。最后研究实现了SFM算法，求解出像机的外参数，计算出像机的投影矩阵，然后运用三角化法求出空间点的三维坐标，实现三维重建。