NeRF室内重建对比：Nerfstudio vs. Luma AI vs. Instant-NGP
十年前，Matterport 改变了房地产业，让房地产买家可以进行数字旅游。 买家可以在房产内从一个点移动到另一个点并环顾四周。 与 2D 照片库相比，这是一个巨大的改进。 然而，买家仍然被房产内的一系列问题所困扰。
推荐：用 NSDT设计器 快速搭建可编程3D场景。
如今，神经辐射场 (NeRF) 是房地产可视化现实捕获的下一代发展。 这项新技术将使购房者能够在房间内走动，观察光线如何在空间中移动，并获得更加身临其境的空间感觉。
我决定测试目前可用的前 3 个 NeRF 软件包，看看哪一个最适合捕捉房间内部情况。 我测试了 Luma AI、Nerfstudio 和 Instant-NGP（Instant-NeRF）。 我保持测试简单，只是 NeRFed 我的厨房/餐厅区域。 我比较了易用性和输出质量。
1、测试方法
任何好的测试都是从有计划的方法开始的。 我尽力保持所有三个软件包之间的变量一致。 为了清楚起见，我将测试方法分为几个主要部分：
- 图像采集
- 图像预处理
- 训练
- 视频渲染
- NeRF 质量比较
2、图像采集
我使用 iPhone 14 Pro 超广角镜头，设置为 4K/30fps。 我以垂直视频格式拍摄，以最大限度地增加在房间内每次经过时捕捉到的地板或天花板的数量。 空间有限，在一个更开放的房间里我会使用我的主摄像头。
超广角相机的一个缺点是它不具备光学稳定性。 我计划使用 DJI OM5 云台重新拍摄片段，以便在将来的比较中稍微稳定片段。 我在我的镜头中添加了一张示例图像，你可以在其中看到过度的模糊。 这对所有三个 NeRF 结果都有影响。
源视频图像模糊
最后，我以不同的高度和倾斜角度绕着房间走了多个圈，试图捕捉整个天花板和地板。
作为参考，你可以在此处观看源视频。
3、图像预处理
我使用 FFMPEG 在 PC 上执行图像提取。 Nerfstudio 和 Luma AI 都有自己的提取管道，但目标是将每个平台与完全相同的输入图像进行比较。 我每秒提取 4 帧，并将图像下采样到 1920x1080 — 结果是 503 个图像。 我进行了降采样以避免在 NeRF 训练期间耗尽 RTX 3090ti 上的 VRAM。 然而，这并不理想，本文的结论部分将对此进行详细介绍。
我将 COLMAP 用于 Instant-NGP 和 Nerfstudio。 我将处理模式设置为顺序来确定相机姿势。
在 Instant-NGP 中可视化视频漫游中的摄像机位置
Luma AI 有自己的相机姿态估计管道。 我将所有源图像压缩到一个文件夹中并将它们上传到 Luma AI。 由于大多数非科学家很难理解 COLMAP，因此该工作流程在预处理简便性方面显然是赢家。
此外，还可以上传高达 5GB 的视频或压缩的图像文件夹，让生活变得极其轻松。 你甚至可以在 Luma AI iPhone 应用程序中上传视频，而无需使用 PC。
Nerfstudio 通过自动决定从视频中提取多少图像，在消除你的猜测工作方面做得非常出色。 它会对图像进行降采样，因此无需将 4K 视频转换为 1080p。 我没有使用 Nerfstudio 管道进行此测试，以确保源数据与所有三个软件平台一致。
Instant-NeRF 使用我的批处理文件与 Nerfstudio 一样简单。 我只需将视频拖放到批处理文件中即可。 然而，我仍然需要将视频从 iPhone 传输到 PC，这很麻烦。 另外，如果没有我的批处理文件，Instant-NGP 是最糟糕的选择。
3、训练
我对每个平台的培训流程进行了细分：
Instant-NGP：数据经过 35,000 个步骤的训练。 我减少了近距离以确保整个场景都得到训练。 这可能引入了一些飞蚊症。 我不确定训练需要多长时间，它是在我做晚餐玉米饼时运行的。
Nerfstudio：使用 nerfacto 方法将数据训练到默认完成步骤。 我忘了实际的完成步骤是什么，我相信大约是20k。 我没有更改任何默认参数。 再说一次，我没有记录这花了多长时间……比吃我准备晚餐的炸玉米饼所花的时间还要短。
Luma AI：这个平台不给你任何训练选项，这使得它非常适合那些想要制作 NeRF 而不想摆弄参数的人。 这可能是好是坏，具体取决于你的最终用途。 对于创作者和非科学家来说，这是一件很棒的事情！ 训练 NeRF 所花费的时间比我清理晚餐做的炸玉米饼所花费的时间还要少。
4、渲染
我尽力在每个相机编辑器中重新创建相同的场景飞行。 我制作了一个 1 分钟的宽视场视频。 输出素材为 1080p/30fps。
Luma AI 的相机设置与其他两个软件包不同。 我将Luma AI的相机镜头设置为16mm。 Instant-NeRF 和 Nerfstudio 只允许我设置 FOV 值。 我选择了 70，现在回想起来，它比 16 毫米窄。
以下是我对每个平台的渲染过程的想法：
Instant-NGP：他们的相机路径编辑器是我的最爱。 可能是因为我用得最多。 我喜欢使用 DLSS 实时渲染 NeRF，并在创建相机轨迹时了解最终渲染的样子。 缺点是我无法控制关键帧之间的时间。 NVIDIA，如果你正在阅读本文，请添加关键帧计时！
在我的 RTX 3090ti 上渲染最终输出花了 38 分钟。 我在 GUI 中渲染了视频。 如果我离线渲染，时间会更快。
在 Instant-NGP 中创建相机动画
Nerfstudio：哦，我多么希望这个软件有 DLSS！ 相机路径编辑器马马虎虎。 当源图像位置打开时，很难看到场景。 场景被严重降低采样。 渲染速度很快——大约花了 30 分钟。
Luma AI：我对场编辑器没有太多经验，但是，他们提供预制轨道和振荡路径，这很好。 另外，AR录音机也很有趣。 我发现创建我的路径很简单，而且他们有最好的用户界面。 与 Instant-NGP 或 Nerfstudio 相比，在这个编辑器上查看我的路径要容易得多。
在 Luma AI 中创建相机动画
5、NeRF 质量比较
在你深入阅读本节之前，我在结论中添加了额外的比较注释。 如果你期望一款软件比其他两款好几倍，那么你会失望的。 但等一下，显然有一个是赢家！
从远处看，这三个场景看起来都不错，但如果你仔细观察，你就会发现差异。 白色的凳子和椅子在 Nerfstudio 的输出中显得模糊。 Instant-NGP 钉住了凳子，但椅子腿仍然很模糊。
Nerfstudio 远景
Instant-NeRF 远景
Luma AI远景
细节差异在特写时变得更加明显。 Luma AI 的结果中，台面边缘的瓷砖细节最为清晰。 你还可以在柜台顶部看到更多细节。 Luma AI 结果中的生日气球是最清晰的，并且保留了闪亮的品质。
Nerfstudio 特写
Instant-NeRF特写
Luma AI特写
最后一个场景不是竞争。 不管用什么方法，这张桌子的结果都不好。 我将此归咎于我不稳定的镜头。 花朵质量与 Instant-NeRF 和 Luma AI 相关。 花瓶与 Luma AI 搭配效果最佳。
最显着的区别是 Luma AI 更好地再现了窗户反射和墙壁。
Nerfstudio用餐区
Instant-NeRF用餐区
Luma AI用餐区
6、结束语
显然，Luma AI 在易用性和输出质量比较方面均胜出。 这不应该令人震惊，因为他们的产品背后有一家专门的公司。 Instant-NGP 是一个 NVIDIA 研究项目，Nerfstudio 是一个由伯克利分校的学生小组运行的项目。
- 实时查看
Instant-NGP 是我唯一可以实时运行 NeRF 并具有良好视觉效果的软件。 Nerfstudio 实时运行，但质量对于“虚拟游览”或类似用例来说不够好。 如果我的目标是创建一个实时运行 NeRF 的房产游览，那么 Instant-NGP 会胜出。
- 虚拟现实
Instant-NeRF 有一个简单的 VR 查看器，还可以让我清理 NeRF 中的漂浮物。 这是一个巨大的优势！ 从技术上讲，你可以通过 Nerfstudio 和 Luma AI 的虚幻引擎集成之一在 VR 中可视化。 我认为 VR 地产之旅的市场很小。
- 第三方集成
Nerfstudio 既有 Blender 插件，也能通过 Volinga beta 在虚幻引擎中实时渲染 NeRF。 我认为他们正朝着正确的方向前进。 这两种集成对于构建房产参观体验至关重要。
Luma AI 也正在运行虚幻引擎集成测试版。 我对这种集成有个人经验，并且它可以通过蓝图轻松开箱即用。 将此与他们的 SDK 访问权限配对，你可以从技术上构建端到端 NeRF 房产游览体验。
- 网格输出
Luma AI 对于较小的物体具有出色的网格输出。 如果你想要对大型无人机扫描进行网格划分，此时一切都会崩溃。
Nerfstudio 具有出色的网格和点云输出选项，但其质量无法与摄影测量获得的任何东西相媲美。 对于房间网格，SDFStudio 集成值得研究。
- 其他问题
源图像远非理想。 运动模糊是影响 NeRF 渲染质量的一个重要因素。 Luma AI 显然是处理模糊的最佳软件。 这让我想到一个问题：使用更清晰的源图像会得到相同的结果吗？
我也没有使用 Nerfstudio 最新的 nerfacto 方法。 他们发布了 nerfacto-big，它的训练速度较慢，但可能会产生更好的结果。 如果采用新的训练模式，我会有不同的获胜者吗？
在撰写本文时，Zip-NeRF 已发布，它将内部 NeRF 的细节提升到一个新的水平。 目前的 NeRF 软件选项是否可以与 Zip-NeRF 的质量竞争？
原文链接：NeRF室内重建对比 — BimAnt