Self-Supervised 3D Mesh Reconstruction from Single Images

SMR 

feature representation of landmarks一致

来自插值和预测 的3D属性一致

Intro:前景知识

  • 从单图像中recover 3D信息:传统方法是fit先验可变性模型的参数

face : 3DMM【1】

human :SMPL 【23】

先验模型,贵且耗时

或者深度学习领域使用监督方法重建3D物体【7】,但这些方法需要在有GT 3D注释的合成或者3D扫描数据集上训练。 二维注释,二维重建方法关键模块是differentiable render【16】,可区分(可微)的流连接三维模型和二维图像。但2D监督重建只是减少图像image-level重建误差而不是属性预测准确性。

问题:2D注释上获得3D attribute-level重建

3D attributes: camera,shape,texture,light

结构:先将3D属性通过属性编码器预测出来,再通过2D图像和3D属性级监督

Self-Supervised 3D Mesh Reconstruction from Single Images_第1张图片

 重建的3D模型,也被作为input。两种新型自监督方法:差值一致性和地标一致性,改善网格属性的学习过程

IC:内插的三维属性,伪三维属性,与render图像编码属性一致

LC:3D物体局部部分重建,那么地表特征在整张图上也是一致的

Related Works

Cycle Consistency

方法

Self-Supervised 3D Mesh Reconstruction from Single Images_第2张图片

 需要特定类别的,有轮廓注释的,图像

三维网格模型

O(S,T)表示3D网格物体

S:Shape ∈ R Vx3的向量空间,V表示顶点全部

Texture: T∈ HxWx3 ,分辨率H,W的UV图

C = (a ,e ,d )方位角,仰角和距离参数

Light : L由球面谐波模拟

三维属性A = [C ,L , S ,T ],三维物体O被渲染为二维图像和剪影Xr = [ Ir, Mr ],Ir被投影的RGB图像,Mr剪影

Xr = R(A) R是不包含可训练参数的可微分操作

特定类型的数据集,第i个输入单图像和其剪影被连接起来作为input Xi,训练样本,用来训练编码器E 预测三维网格属性,

Ai = Eθ( Xi )

四个单独的编码器:

对于Ec,计算方位角用直角坐标系

Es,球形网格S0 ,S = S0 + ΔS

Et,二维流动图,空间变换【14】生成纹理UV图

El,

3D监督属性学习

Ai,gt如果可获得,训练编码器通过回归来预测属性Ai=Eθ(Xi)

Self-Supervised 3D Mesh Reconstruction from Single Images_第3张图片

 自监督网格重建

2D图像级监督:

衡量图像距离和剪影(轮廓)距离损失来比较差异

image distance:渲染的和输入的图像之间距离接近L1distance

Silhouette distance:mask IoU loss确保投影的轮廓和GT轮廓等同

插值一致性

F3的c说明了周期一致性方法,但有缺点,需要知道3D属性的先验分布

在这里本文使用插值一致性,因为先验分布可能歪曲

Self-Supervised 3D Mesh Reconstruction from Single Images_第4张图片

按原始数据集的相似分布,生成大量细颗粒度的三维网格属性

插值视为三维注释,并通过自监督倾斜来训练重建模型

插值3D属性A作为GT 3D注释,去渲染X

 然后通过E编码器,预测X

LossIC

 LandMark一致性

实现

datasets:

ShapeNet,重建物体和GT 3D之间的3D交叉点(IoU)评估

BFM(Basel Face Model) ,深度指标SIDE,平均角度偏差MAD

CUB-200-2011 category-specifific bird dataset consisting of single images and 2D annotations,

Mask IoU,SSIM,PCK,FID

图像合成应用

总结

我们提出了SMR,包括2D监督、IC。
和LC,从只有轮廓注释的单一图像中重建3D网格。
只用剪影注释来重建三维网格。IC产生细粒度的三维模型来训练属性编码器。
模型来训练属性编码器,而LC进一步提高了局部区域的重建质量。我们的SMR
改善了二维监督和无监督的重建,并在多个数据集上实现了最先进的三维重建。我们的方法的主要局限性是对非标的建模的困难。
我们的方法的主要限制是难以对非刚性物体(如人体)进行建模。
我们把它留给未来的工作,以建立一个更普遍的野外变形物体的重建方法。

你可能感兴趣的:(计算机视觉,神经网络,html5,深度学习)