网络的多模态形状究竟是啥？道翰天琼认知智能机器人平台API接口大脑为您揭秘-1。

 

 

三维形状的补全，即预测残缺形状缺失部分的几何从而恢复出完整的三维模型，是计算机视觉、图形学领域的基本问题。我们所获得的三维形状经常是不完整的，如用户进行三维设计时的中间产物、扫描时由于遮挡而得到的不完整点云等等，因此形状补全有着很广的应用范围。

尽管目前已有很多工作利用深度学习方法进行形状补全，然而这些方法只能对每个残缺形状输出单个补全结果，完全忽视了缺失部分几何存在的歧义性。如下图所示，左侧的输入完全缺失了椅子的下半部分，此时补全就存在歧义性，即椅子下半部分的具体几何是存在多种可能性的，比如右侧的五个补全结果均是可能且合理的。因此，我们提出了多模态（multi-modal）形状补全这一问题，即对残缺形状输出多个可能、合理的补全结果。我们通过条件生成式建模（conditional generative modeling），在不需要配对的训练数据情形下，设计了第一个基于点云表示的多模态形状补全的方法。

图1. 多模态形状补全

 

 

2

方法

给定一个残缺形状（partial shape）集合 P，我们试图通过深度神经网络学习一个从 P 到完整形状（complete shape）集合 C 的多模态映射，从而实现多模态补全的目标。值得注意的是，我们的方法只需要一个残缺形状集合和一个完整形状集合作为训练数据，并不需要两者之间有任何的配对样例，这使得我们的方法能够直接应用于真实扫描的数据。对于这样无配对数据的设定，受到 pcl2pcl [1] 的启发，我们采用在学习到的表达点云的隐空间上进行对抗训练（adversarial training）的方式解决这一问题。同时，我们通过引入一个低维向量z 作为额外的条件输入，来建模可能的补全结果中出现的多模态。为了实现随机采样，我们期望 z能够从一个先验分布 p(z) 中采样，本文我们使用了标准高斯分布 N(0, Ι)。图2. 我们多模态形状补全的网络结构具体来说，我们首先预训练两个自编码器以得到两个表达点云的隐空间：p 表示残缺形状，c 表示完整形状。解决多模态形状补全问题就转化为在条件生成意义下学习一个从 p 到 c 的映射。为此，我们训练一个生成器以实现多模态映射，并以低维向量 z 作为条件输入。在缺少配对数据的情况下，我们使用对抗训练来进行形状补全。此外，为了促使生成器 G 使用低维条件输入 z 向量，我们还引入了一个编码器