论文笔记Point·E: A System for Generating 3D Point Clouds from Complex Prompts

之前的文本生成3D模型的方法生成一个模型需要多块GPU跑好几个小时，该文章提出的方法生成一个3D模型只需要单GPU1-2分钟。
该文章生成的3D模型的质量并不是当下最好的，但是生成速度很快，因此在现实中很有意义。

从文本生成3D模型的过程分为三步：

1. 用一个text-to-image的diffusion model从文本提示生成一幅合成视角的图片。
2. 用一个diffusion model将合成视角图片生成低分辨率的3D点云（1024个点）。
3. 用一个diffusion model从低分辨率的3D点云和合成图片，生成高分辨的3D点云（4096个点）。

上面的图显示了前两步。

数据集

训练数据集包含7百万个格式不一，质量不一的3D模型。
为了下面的训练需要做一系列的处理。
使用Blender从20个随机的视角渲染（render）3D模型。
对于每一个模型，Blender标准化模型到一个bounding cube里，并使用标准的灯光设置。

接下来是通过物体渲染的图片将物体转为带颜色的点云。
先使用深度图像计算每个像素点的对应的点来生成稠密的点云，然后使用farthest point sampling(FPS)算法生成均匀的4K个点。

合成视角图片生成（文本->图片）

合成视角图片生成的diffusion模型基于GLIDE。GLIDE是一个基于文本提示（text prompt）生成图片的模型。
这里使用原始数据集和3D渲染的图片数据集的混合finetune GLIDE。
因为3D数据集相对原始数据集而言较小，所以训练时，其中5%的图片从3D渲染数据集里采样，95%的图片从原始数据集里面采样。
为了保证之后总能采样到渲染器生成的图片而不是只有5%的概率采样到渲染器生成的图片，作者在3D渲染器的text prompt上添加一个特别的token表示这生成的是3D渲染器的图片。

点云扩散（ 合成视角图片->1K点云）

点云被表示为$K\times 6$的tensor，$K$是点的数量，6是$(x,y,z)$和$(R,G,B)$。每一个数值都被标准化到$[-1,1]$。
本论文使用transformer-based模型来预测$ϵ$和$\Sigma$，模型的输入是图片，时间$t$和带噪声的点云$x_t$。

将带噪声的点云通过线性映射成$K\times D$，时间映射成$1\times D$。
图片则是使用CLIP模型最后一层的输出（$256\times D^{\prime }$），再使用线性映射将其映射到$256\times D$。
最后输入模型的context的形状是$(K+257)\times D$。如图所示，取模型输出的后$K$个，将其映射到K个点的$ϵ$和$\Sigma$。

点云上采样（（1K点云+ 合成视角图片）->4K点云）

上采样模型的结构类似上面的点云扩散模型，只是输入多了低分辨率的点云。
为了生成4096个点，上采样模型基于低分辨率的1024个点，然后生成额外的3062个点。
为了让模型能区分低分辨率的点和上一步的噪声的点，模型对低分辨率的点和上一步的噪声的点使用不同的线性映射。

生成mesh（4K点云->mesh）

这一步是为了渲染相关的评测做的。将点云转换成mesh再渲染。
训练一个模型预测点云的有向距离场（signed distance field，SDF）。SDF模型基于encoder-decoder transformer。encoder的输入是无序的点序列，输出是隐含表示序列。decoder输入是隐含表示序列和3D坐标，输出是SDF的值。
模型表示为$f_{\theta }(x)$，SDF表示为$y$，训练的目标是weighted L1损失：

然后对SDF使用marching cubes算法得到mesh。mesh的vertex的颜色则是通过寻找点云中最近的点的颜色来获得。