英伟达开发最快 NeRf 技术：数秒内将 2D 照片合成为 3D 场景

75 年前宝丽来拍摄第一张即时照片的时候，以逼真的 2D 图像捕捉 3D 世界是开创性的，如今人工智能研究人员正做着相反的事情，即几秒内将一组静止图片转换成 3D 数字场景。

上个月在英伟达 GTC 的一次会议中，英伟达演示了最新的人工智能技术并致敬了早期的宝丽来影像，视频中展示者穿着像 Andy Warhol，手持旧款宝丽来相机，通过数十张 2D 照片快速转换成 3D 渲染场景。

这一过程被称为反向渲染，使用人工智能来模拟光线在现实世界中的行为，使研究人员能够从不同角度拍摄的少量 2D 图像中重建三维场景。

英伟达将这种方法应用于一种流行的新技术，称为神经辐射场或 NeRF。该工具被称为 Instant NeRF，是由加州大学伯克利分校、加州大学圣地亚哥分校以及谷歌研究院在 2020 年联合开发，通过映射不同 2D 镜头的颜色和光线强度生成数据，并结合摄像机位置数据，然后将这些来自不同位置的图像连接起来，渲染出一个完整的 3D 场景。

尽管 Instant NeRF 也需要拍摄照片的摄像头角度数据，但该模型只需几秒钟就可以对几十张静态照片进行训练，然后在几十毫秒内渲染出最终的 3D 场景，是迄今为止最快的 NeRF 技术。

英伟达图形研究副总裁 David Luebke 表示：“如果说多边形网格等传统 3D 表示类似于矢量图像，那么 NeRFs 就像位图图像:它们密集地捕捉了物体或场景中光线的辐射方式。从这个意义上来说，Instant NeRF 对于 3D 的重要性可能就像数码相机和 JPEG 压缩对于 2D 摄影一样——极大地提高了 3D 捕捉和共享的速度、易用性和覆盖范围。”

未来,英伟达希望 Instant NeRF 可以为虚拟世界创建场景、以 3D 方式捕捉视频会议参与者及其环境、为 3D 数字地图重建场景，并用于训练机器人和汽车自动驾驶技术等领域。

更多详细内容查看:

https://blogs.nvidia.com/blog...

https://nvlabs.github.io/inst...