Shap·E: Generating Conditional 3D Implicit Functions 阅读笔记

Shape·E是一个从图像或者文本生成3D模型的生成模型。
Shape·E生成的是隐函数的参数。隐函数指的是Nerf(Neural Radiance Fields)和STF(Signed Distance Functions and Texture Fields)。他们可以将3D坐标映射到特定于位置的信息,如密度和颜色。通过隐函数,可以渲染出3D物体,或者得到3D物体的textured mesh。
与显式生成模型Point·E(直接从文本生成点云)相比,Shape·E收敛得更快,并且达到了相当或更好的样本质量。

Shap·E的训练分两个阶段:
第一步,训练一个编码器-解码器,该编码器将3D模型映射到隐函数(implicit function)的参数,隐函数的参数通过解码重构出3D模型;
第二步,训练条件扩散模型生成编码器输出的隐函数的参数。条件可以是图像(图像生成3D模型)或者文本(文本生成3D模型)。
在测试阶段,用条件扩散模型生成隐函数的参数,再通过解码器解码,得到3D模型。

3D编码器-解码器

条件扩散模型

你可能感兴趣的:(3d,笔记,深度学习)