两篇img2struct论文

两篇img2struct论文

【ICCV2017】3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks
【CVPR2018】Im2Struct: Recovering 3D Shape Structure from a Single RGB Image

概述

这两篇论文,都是输入图片,然后输出由多个长方体拼成的三维模型,
两篇img2struct论文_第1张图片
两篇img2struct论文_第2张图片
两篇论文的区别是,前者的输入是深度图,decode用的是普通的RNN,输出的是线性结果。而后者输入的是真实的RGB图像(考虑背景干扰),decode使用了RVNN,输出的是树状结果。

数据来源

这 两篇论文的模型架构都是端到端的,因此就需要图像匹配的组合体数据。
在3d-PRNN中,论文的第三章节即描述了如何通过点云拟合来得到组合体形状数据
两篇img2struct论文_第3张图片
img2struct的组合体是用树状结构表示的,其生成方式也更为复杂一些一些。他们先使用了【1】中的方法,对模型进行预分割,生成可能的层级结构,然后使用了【2】中的方法,生成组合体结构,并模型统一成一致的层级结构。(【2】是SIGGRAPH2017的,这篇img2struct主要就是基于这篇论文的工作做的,)

未完待续

【1】: Symmetry Hierarchy of Man-Made Objects

你可能感兴趣的:(三维生成)