论文速览 Arxiv 2023 | DMV3D: 单阶段3D生成方法

注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文

论文速览 Arxiv 2023 | DMV3D: DENOISING MULTI-VIEW DIFFUSION USING 3D LARGE RECONSTRUCTION MODEL 使用3D大重建模型来去噪多视图扩散

论文原文：https://arxiv.org/pdf/2311.09217.pdf (2023年11月15日)
项目主页: https://justimyhxu.github.io/projects/dmv3d/

本文提出了一种新颖的单阶段3D生成方法DMV3D。该方法使用基于transformer的大型3D重建模型来降噪多视角扩散,实现快速3D生成。

方法概述

• 基于多视角图像扩散模型,将3D NeRF重建和渲染集成到降噪器中,以end-to-end的方式训练,避免了独立训练3D NeRF编码器(两阶段模型)和烦琐的每件资产优化(SDS方法)。
  • 扩散过程:每张图片独立扩散,噪声等级由α控制。
  • 降噪过程:使用3D重建模块E从噪声多视角图像重建干净3D表征S,使用可微渲染模块R在特定视角c渲染降噪图像。