基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介

Nerf简介

   Nerf(neural Radiance Fileds) 为2020年ICCV上提出的一个基于隐式表达的三维重建方法,使用2D的 Posed Imageds 来生成(表达)复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域,也有方方面面关于 Nerf 的工作在不断被提出。
  Nerf 为输入为稀疏的、多角度、带有姿态信息的图像的神经网络模型,可以用于渲染出任意视角下的清晰照片。(Nerf是使用MLP神经网络来隐式表达的一个三维场景),如下图所示:

基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第1张图片

背景知识

  Nerf本质是图形学的3D渲染(Render)功能,使用隐式表达来表示3D信息。
3D渲染:将场景定义(包括摄像机、灯光、表面几何与材料)转换为模拟摄像机图像的过程称为渲染,渲染的结果为该视角下的一张照片。相机拍摄过程为一个光学物理成像过程,是光线经过镜头到达传感器中被记录的过程如下图所示:
基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第2张图片
传统的3D渲染方法包括:
光栅化(rasterization):光栅化是是空间中的物体 使用透视投影来"投射 "到2d图像上,然后通过采样技术填充二维三角形所覆盖的图像的所有像素。
光线追踪(ray tracing):通过图像中的每个像素追踪一条射线,找出相机与该射线相交的任何物体之间的距离。通过该像素可见的物体就是相交距离最小的物体。通过在图像中的所有像素上循环,为每个像素追踪一条光线,然后找出这些光线是否与场景中的任何物体相交来创建图像。该算法需要两个主要循环。外循环遍历图像中的像素,内循环遍历场景中的物体。基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第3张图片
隐式表达:使用隐函数 f ( x , y , z ) = 0 f(x, y, z)=0 f(x,y,z)=0来表示空间中3d点的位置关系,所有满足约束的3d点都为待表达的目标点。该方法难以描述复杂物体,且非直观,但是该方式有以下优点:(1)表达方式简单。(2)便于查询,直接通过坐标点代入隐函数中可以查询该点与平面的关系。(3)能以较高的精度表达简单物体。(4)易于处理拓补结构(如流体)。
显示表达:直接给出,或通过参数映射的方式来表达空间中点的信息,如电云与深度图。
基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第4张图片
3D空间中物体的表达方式
显示表达:
基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第5张图片
隐式表达:
基于神经辐射场(Neural Radiance Fileds, NeRF)的三维重建- 简介_第6张图片

Nerf的应用

1 新视点生成(View Synthesis):https://www.matthewtancik.com/nerf
2 360°重建:https://jonbarron.info/mipnerf360/
3 大型场景重建:http://waymo.com/research/block-nerf
4 人体重建:https://zhaofuq.github.io/humannerf/
5 3D风格迁移:https://www.youtube.com/watch?v=0Z8FYd8MV1k&list=PL6liSIqFR4BW3FTN5lpruLIVGqv3wMpMG&index=13

你可能感兴趣的:(数码相机)