Open3DGen：从RGB-D图像重建纹理3D模型的开源软件

点云PCL免费知识星球，点云论文速读。

文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images

作者：Teo T. Niemirepo, Marko Viitanen, and Jarno Vanne

编译：点云PCL

代码：https://github.com/ultravideo/Open3DGen.git

欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。

公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。

摘要

本文介绍了第一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建照片级具有真实感的3D模型，该软件流程上包括九个主要阶段：1）RGBD采集；2） 二维特征提取；3） 摄像机姿态估计；4） 点云生成；5） 粗网格重建；6） 可选环路闭和检测；7） 精细化网格重建；8） UV展开；9）纹理投影。此端到端方案结合了多种最先进的技术，并为实时三维模型重建和离线纹理映射提供了易于使用的软件包。主要创新在于各种运动结构（SfM）技术，这些技术与其他深度数据一起使用，以实时和低成本生成高质量的3D模型。Open3DGen的功能已在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上验证，验证了设置在不使用脱机后端的情况下，720p（1280×720）RGBD输入的平均处理速度为15 fps，我们的解决方案通过最先进的商业和学术解决方案提供具有竞争力的3D网格质量和运行效率。

主要贡献

表1描述了用于3D数据捕获、重建和纹理映射的最著名的软件框架，它们可以分为摄影测量、SLAM和基于RGB-D的三维扫描方法。

本文提出了一种端到端的三维重建软件Open3DGen，该软件采用SLAM和摄影测量方案的特征，以便从RGB-D图像快速生成精确的真实感纹理三维模型，据我们所知，这是第一个完全开源和跨平台的软件实现，用于1）实时3D网格重建和2）相关离线纹理映射。

图1概述了提出的Open3DGen流程，该流程以模块化和灵活的方式整合了3D捕获过程的所有阶段，所采用的图像处理算法倾向于在文献中进行全面的研究和记录，但它们的实现往往缺乏功能、可用性或许可。这项工作特别涉及这些算法的实现方面，并试图提供一个开放、准确、易于使用的软件包，方便地与消费级RGB-D相机配合使用。

图1:Open3DGen流程的主要处理模块

主要内容

该方案可分为两个主要部分：

1）实时前端用于RGB-D数据捕获和带有顶点颜色的粗略三维模型重建；

2）离线后端用于模型细化和纹理映射，粗网格生成的前五个阶段可以实时完成，以立即向用户提供重建模型的近似值。

图2显示了测试RGB-D图像序列的流程操作

表2列出了所采用算法及其实现的分类

A.  Open3DGen：前端

实时前端包括以下五个主要阶段：

1）RGB-D采集；

2） 二维特征提取；

3） 摄像机姿态估计；

4） 点云生成；

5）粗网格重建。

B.  Open3DGen：后端

该方法的离线后端由四个阶段组成：1）循环闭合和相机姿势优化；2） 网格重建；3） UV展开, 4）纹理投影。然而，环路闭合和摄像机姿势优化是一个可选模块。

在这四个阶段之间，可以导出生成的点云或三维网格以进行手动处理，手动优化网格拓扑或使用自动化解决方案可以获得更好的结果，然后，可以将编辑的网格重新导入流程中以进行纹理投影，如果深度数据特别嘈杂且具有大量异常值，则在纹理投影之前编辑原始网格或点云数据也很有用。

图3：茶壶的网格三角形拓扑

实验

实验的输入RGB-D图像是用Intel RealSense D435相机拍摄的，基准测试是在配备AMD Ryzen 3900X处理器和Nvidia GTX1080显卡的台式工作站上进行的，操作系统是Ubuntu Linux 20.04。

图4：三个测试场景的重建质量比较 (a) Metashape. (b) Meshroom. (c) Open3DGen.

表3:Metashape、Meshroom和Open3DGen之间的性能比较

总结

本文介绍了一个完全开源的跨平台软件Open3DGen，用于从RGB-D图像重建高质量的纹理三维模型， 提出的Open3DGen流程由用于粗略三维模型重建的实时前端和用于模型细化和纹理映射的离线后端组成，该系统在不同的操作条件下，具有多方面的输入，具有很强的鲁棒性，生成的三维模型可以在各种计算机图形学和其他三维应用程序中使用，Open3DGen的概念验证设置能够在AMD Ryzen 3900X CPU和Nvidia GTX1080 GPU上以15 fps的平均处理速度从720p RGB-D输入重建粗略的3D模型。结果表明，在处理时间的一小部分内，其质量可与最先进的摄影测量软件媲美或超过该软件，未来，Open3DGen CLI将升级为直观的图形用户界面（GUI），Open3DGen流程的后端将进行实时处理优化，完全实时的Open3DGen软件可用于将下一代交互式和实时应用程序的用户体验提升到更高的沉浸度。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测：MV3D-Net

三维点云分割综述（上）

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）

win下使用QT添加VTK插件实现点云可视化GUI

JSNet：3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看：点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦！

【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔：非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

扫描下方微信视频号二维码可查看最新研究成果及相关开源方案的演示：

如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除

扫描二维码

                   关注我们

让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。

分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：[email protected]，欢迎企业来联系公众号展开合作。

点一下“在看”你会更好看耶