31、三维表面重建-SA-ConvONet

简介

论文：https://arxiv.org/abs/2105.03582
代码：https://github.com/tangjiapeng/SA-ConvONet

给定一个复杂物体(左)或一个大型场景(右)的非定向点云，可以在不使用定向法线的情况下重建一个精确的曲面网格

实现流程

建立在卷积占用网络(CONet)的基础上，该网络通过PointNet和3D U-Net的级联网络从输入点云P中提取卷积特征V，从而预测占用场O。首先使用标准的二元交叉熵(BCE)损失(top)在可访问的数据集上预训练CONet。在推理过程中，提出的符号不可知优化通过无符号交叉熵(UCE)损失进一步微调整个网络参数，以提高O (bottom)的精度。

Convolutional Occupancy Fields Pre-training

Convolutional Feature Learning

首先用一个浅PointNet处理给定的输入P，以获得逐点特征，将局部邻域信息封装在一个单元内，将其转换为H × W × D的体积特征 V0，也就是使用平均池集成属于同一体素细胞的所有点特征。

**为了整合全局信息和局部信息，使用3D- unet对 V0 进行处理得到 v。由于3D- cnn的内存开销问题，设置H = W = D = 64，设置3D U-Net的深度为4，使接收字段等于V0的大小 **

由于卷积运算的平移等方差和沙漏网络结构U-Net集成的丰富形状特征，我们可以实现大规模场景下可扩展的表面重建

Occupancy Field Predicting

根据 q 的坐标从 V 中进行三线性插值查询特征向量 fq，然后将 q 和 fq 输入到占用解码器 g 中，该解码器 g 实现为一个多层感知器(MLP)的轻量级网络，最终得到q的占用概率O（q）

Loss Function

在训练过程中，在watertight网格的包围体积内均匀采样一些点Q，并计算它们占用值的地面真值

BCE(x, y) =−ylogx−(1−y)log(1−x) 表示标准的二元交叉熵

Sign-Agnostic Implicit Surface Optimization

在推理阶段，可以通过一次前馈传递直接产生隐场，但是，如果给定的输入来自于预先训练的先验，则可能得不到满意的结果，为了提高不可见形状的通用性，可以针对给定的输入进一步优化预训练模型。

与观测点相关的曲面法线是不可用的，这就导致了in-out字段不可用，因此不能使用上面的损失函数计算

通过hourglass卷积网络占用场学习的符号不可知论优化可以避免法线的要求

通过适当初始化网络参数，隐式解码器可以表示单位球的有符号域，这有助于通过无符号学习目标获得有符号解

预训练占用解码器可以产生符号字段作为测试时间优化的初始化

直接使用无符号交叉熵损失来获得占用场和无符号输入之间的一致性约束，而无需使用表面法线

V的特征是由相同的全局特征解码而来的，因此在优化阶段始终可以增强局部几何的全局一致性，因此没有法线的指导，仍然可以保证全局一致的局部字段程序集

其中 QˆS 是一个从地面真值曲面 ˆS 获得的点集，Q\ˆS 是一个从非表面体积 Q\ˆS 采样的点集。由于 ˆS 在测试阶段未知，认为观察的表面 P 是 ˆS 的近似，并识别三维空间中随机采样的点为非表面点 Q\S。更具体地说，强制观测表面 P 与占用场的 0.5 水平集对齐，非表面点的 signed 占用值要么为 0 ，要么为 1。

效果