[TVCG-23] NeRF-Art: Text-Driven Neural Radiance Fields Stylization

• 提出系列基于CLIP的风格化损失

目录

Text-Guided NeRF Stylization

Trajectory Contrl w/ Directional CLIP Loss

Strength Control w/ Global Contrastive Learning

Artifact Suppression w/ Weight Regularization

Training

 实验

---

 

Text-Guided NeRF Stylization

Trajectory Contrl w/ Directional CLIP Loss

传统的CLIP损失如下式，用于拉近渲染图像和目标文本的距离，其中I_tgt是渲染图像，t_tgt是目标文本。但是这种全局损失容易导致生成器坍塌，并且对风格化多样性有害。

 因此，本文提出了relative directional loss，其中t_src是原图的描述文本。

 

Strength Control w/ Global Contrastive Learning

上面提出的损失，风格化强度不够。为增加风格，本文进一步提出基于对比学习策略的损失。

将渲染图像I_tgt视作query target，将目标文本t_tgt视作正样本，并且设置负样本t_neg，得到对比学习损失，拉近I_tgt和正样本的距离，推远和t_neg的距离：

更进一步，本文发现式（5）关注全局，而忽略了局部。因此，本文受PatchNCE loss启发，进一步提出了局部损失，其中I_tgt替换为随机crop的局部块。

最终全局-局部对比损失如下：

Artifact Suppression w/ Weight Regularization

为了防止出现cloud-like semi-transparent artifacts，本文提出一种正则化。使得射线的密度尽可能靠近：

 

Training

fine-tune预训练NeRF，使其风格化。最终损失为：

其中，L_per是perceptual loss，基于预训练的VGG层计算

 

 实验