2017Learning Barycentric Representations of 3D Shapes for Sketch-based 3D Shape Retrieval学习笔记

​

本期学习文章为：

@article{Xie2017LearningBR,

title={Learning Barycentric Representations of 3D Shapes for Sketch-Based 3D Shape Retrieval},

author={J. Xie and Guoxian Dai and Fan Zhu and Yi Fang},

journal={2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},

year={2017}, pages={3615-3623} }

原文链接–[PDF] Learning Barycentric Representations of 3D Shapes for Sketch-Based 3D Shape Retrieval | Semantic Scholar

摘要

基于草图的三维模型检索是一个具有挑战性的问题，因为二维草图和三维形状是来自两个不同的域，这导致了它们之间有很大的差异。本文中提出了学习三维形状的二维投影的重心，用于基于草图的三维模型检索。具体来说；我们首先使用两个深度卷积神经网络（CNNS）来提取草图的深度特征和三维形状的二维投影。对于三维形状，我们计算多个投影的深度特征Wasserstein barycenters，来形成一个重心表示。最后，通过构造度量网络，在深度特征空间的三维形状和草图的Wasserstein barycenters上建立判别损失，学习区分和紧凑的三维形状和草图特征进行检索，该方法在SHREC’13和SHREC’14上显著提高了检索性能

本文的主要贡献

​本文建议使用三维形状的多个投影的Wasserstein barycenters来表征三维形状；
本文建立了一个深度度量学习模型来学习Wasserstein barycenters表示；
在两个大型的数据集上，本文的方法显著优于之前的基于草图的三维形状检索的方法。

1.Wasserstein distance

Wasserstein distance详情可见
Wasserstein GAN and the Kantorovich-Rubinstein Duality
Notes on Optimal Transport

2.Wassertein barycenters

一系列概率分布Pi的barycenters Pb，可以被定义为

D（$p_b$,$p_i$)是$p_b$和$p_i$之间的Wassertein距离，λi是权重，正则化Wassertein barycenters $p_b$, 可以被迭代计算的$p_b^t$计算得到

$p_b^t$是Wassertein barycentersPb的第t次迭代，$a_i^t$和$c_i^t$是辅助变量

2.1使用多视图投影的 Wasserstein 重心来描述3D图形的特征

我们均匀的缩放每个三维形状，并将该形状的质心放在球坐标系的原点，通过将V虚拟摄像机均匀地放置在三维形状周围，可以获得V个渲染视图。对于每个视图，我们将三维形状作为投影渲染为灰度图像。

一旦得到了三维形状的二维投影，我们就可以提取出二维投影的深度CNN特征。在这项工作中，我们使用了AlexNet [11]来处理CNN的特征，它由5个卷积层和3个完全连接的层 组成。对于每个投影，使用ReLU非线性激活函数后的最后一个全连接层作为深度特征，其特征大小为4096。

2.2利用 Wasserstein 重心进行跨域匹配

提取了二维投影的深度 CNN 特征。计算深度 CNN 特征的 Wasserstein 重心来表示3D形状。下图为计算出的10个类别的三维形状的的投影的深度特征的Wasserstein 重心可视化
我们可以看到在大多数情况的实例下，来自同一类别的形状被分组到了一起（被标注了相同的颜色）而不同类的形状则被分离开了。这就表明尽管有复杂