论文阅读：GeoAug: Data Augmentation for Few-Shot NeRF with Geometry Constrain

中文标题：使用几何约束增强小样本神经辐射场

提出的问题

• NeRF尽管简介有效，但是往往不能收敛到正确的几何结构。
• 这个问题在小样本学习中尤为明显，往往在没有足够训练数据的情况下，很难使得MLP网络学习到正确的几何的隐表示，表现为深度数据的混乱和失真。

创新点

• 提出了一种基于几何约束和隐式深度监督的NeRF的数据增强方法。

具体方法

几何感知数据增强

1. 首先在训练集中6维自由度姿态P加任意噪声：
   
2. 然后渲染在位姿P’下图像$\widehat{C^{\prime }}(r)$，然而并没有其真实标签。所以我们扭曲（warp）$\widehat{C^{\prime }}(r)$ 从 P’ 到 P并且监督扭曲的图像C:

平滑的L1损失

• L1损失函数对离群点更不敏感。

自适应扰动

• 使用$\delta$标准差表示施加在相机姿态上的噪声（在P’与P之间）。
• 如果P’与P太远，扭曲不可靠（相关性太低）。但如果太小，数据增强效果又会减弱。
• 在整个训练过程中使用相同的噪声大小并不是最优的。

提出的方法

• 基于一个关于$L_c与L_a$损失函数之间的差异的启发式规则。$L_c$时NeRF的重建损失。
  

• 理想情况是保持增强样本的损失略高于训练样本的损失。

• 首先设置初始化${\delta }_0$,当$L_a$ 小于\大于 L_c超过a,则 乘/除 $\gamma (\gamma >1)$

• $\bar{L}$是最近100步的平均损失。公式9旨在保证$2{\bar{L}}_a$在${\bar{L}}_c+m$和${\bar{L}}_c+2m$之间。

算法步骤

损失函数

• 最终的损失函数是NeRF损失$L_c$、稀疏深度损失$L_d$以及增强样本损失$L_a$。
  
  
  

参考文献

[1] Chen D, Liu Y, Huang L, et al. GeoAug: Data Augmentation for Few-Shot NeRF with Geometry Constraints[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XVII. Cham: Springer Nature Switzerland, 2022: 322-337.