NeRF系列公开课01-基于NeRF的三维内容生成

此公开课是深蓝学院在b站上关于NeRF的公开公开课公开，主讲人Kai Zhang。这里做一下记录

 大纲：

Part1 主要讲三维内容，渲染和反渲染

抽象意义上的三维内容指的是：三维内容是形状和外观的组合并且可以渲染成不同视角（RGB图像）的组合。

 因为现实中图片比较容易获得，所以思考是否可以从图片中反渲染合成三维内容：

 主讲人提到，三维重建也属于反渲染，但是它的注意点在重建高质量的视图几何上面，与今天所讲的NeRF不同，NeRF注重Appearance，是一种隐式的三维重建。

 两种表面表征：

 第一种方式将物体与光照分开，这种表征方式很理想但是难以表征；第二种方式将材料和光照打包，很难编辑

可以用光线追踪技术来进行渲染。

 Part2 重点！！！开始介绍NeRF。将NeRF拆解成三个要素，并谈论了NeRF的拓展 

 NeRF能够生成逼真的新视角，通过28张输入的照片在NeRF中训练得到三维内容，最后渲染生成其他的视角。上图右边的绿色部分代表捕捉到的视角，黄色部分代表合成的视角。

 第一个要素是形状，一种软的形状表征方式，像雾一样。第二个要素是外观，将（）映射为rgb颜色值，这些都可以通过神经网络来进行表征他们。

第三个要素是渲染，在ray上采样很多点，每个点都有颜色，最后神经网络训练结合得到最终的ray的颜色。渲染给定的28张照片，用L1或L2 loss，然后渲染其他的视角。

NeRF成功的一个关键是软形状(最重要的因素！)表征，软形状指初始的什么也没有的空间，随后慢慢变换成需要的形状。

 soft shape的优点：

1.Not require object segmentation masks:genus issue

2.No boundary discontinuity: easy for differentiable rendering

缺点：

1.Rendering is more expensive; editing is hard 

 让MLP直接在 xyzθφ 输入坐标上运算会导致渲染在颜色和几何形状的高频变化方面表现不佳。因为深度网络偏向于学习低频函数。所以在将输入传递到网络之前，使用高频函数将输入映射到更高维空间可以更好地拟合包含高频变化的数据。

用neural field表征的优点：

1.Compact: each NeRF（3D content） is only ~10MB
2.Continuous: scenes are not discretized
3.Flexible and easy for optimization：implicit regularization from neural networks

接下来就是讨论NeRF的衍生论文

NeRF++着力点在解决分离渲染时前景和背景的问题，感兴趣的可以去看看视频

NeRF的anti-aliasing问题，和信号处理的奈奎斯特定理有关，即采样频率必须大于信号最高频率的两倍 。MipNeRF讨论了这个问题。

 

Part3 讨论可编辑的三维内容

NeRF可做的研究内容：

• Put multiple NeRF in the same environment
• Retouch the appearance
• Create artistic 3D contents
• Interactive editings
• Physical simulation
• Object insertion
• Animations
• ......

 主讲人介绍自己最近的工作，有兴趣可以去看看视频，这里省略了

艺术画的三维内容

Papers and resources

• ·Mildenhall et al. ECCV 2020. MeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
• Zhanget al. Arxiv 2020.NeBF++:Analyzing and improving Neural Radiance Fields
• Barron et al.CVPR 2021.Mip-MeBF:A Multiscale Representation for Anti-Aliasing Neural Radiance Fields
• Zhangetal.CVPR 2022.IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images
• Zhang et al.ECCV2022.ARF:Artistic Radiance Fields
• Awesome NeRE: https://github.lvenchenlin/awesome-NeRE