Self-Supervised 3D Mesh Reconstruction from Single Images

SMR 

feature representation of landmarks一致

来自插值和预测 的3D属性一致

Intro：前景知识

• 从单图像中recover 3D信息：传统方法是fit先验可变性模型的参数

face ： 3DMM【1】

human ：SMPL 【23】

先验模型，贵且耗时

或者深度学习领域使用监督方法重建3D物体【7】，但这些方法需要在有GT 3D注释的合成或者3D扫描数据集上训练。 二维注释，二维重建方法关键模块是differentiable render【16】，可区分（可微）的流连接三维模型和二维图像。但2D监督重建只是减少图像image-level重建误差而不是属性预测准确性。

问题：2D注释上获得3D attribute-level重建

3D attributes: camera，shape，texture，light

结构：先将3D属性通过属性编码器预测出来，再通过2D图像和3D属性级监督

 重建的3D模型，也被作为input。两种新型自监督方法：差值一致性和地标一致性，改善网格属性的学习过程

IC：内插的三维属性，伪三维属性，与render图像编码属性一致

LC：3D物体局部部分重建，那么地表特征在整张图上也是一致的

Related Works

Cycle Consistency

方法

 需要特定类别的，有轮廓注释的，图像

三维网格模型

O（S,T）表示3D网格物体

S：Shape ∈ R Vx3的向量空间，V表示顶点全部

Texture： T∈ HxWx3 ，分辨率H，W的UV图

C = （a ,e ,d ）方位角，仰角和距离参数

Light ： L由球面谐波模拟

三维属性A = [C ,L , S ,T ]，三维物体O被渲染为二维图像和剪影Xr = [ Ir, Mr ]，Ir被投影的RGB图像，Mr剪影

Xr = R(A) R是不包含可训练参数的可微分操作

特定类型的数据集，第i个输入单图像和其剪影被连接起来作为input Xi，训练样本，用来训练编码器E 预测三维网格属性，

Ai = Eθ( Xi )

四个单独的编码器：

对于Ec，计算方位角用直角坐标系

Es，球形网格S0 ，S = S0 + ΔS

Et，二维流动图，空间变换【14】生成纹理UV图

El，

3D监督属性学习

Ai,gt如果可获得，训练编码器通过回归来预测属性Ai=Eθ(Xi)

 自监督网格重建

2D图像级监督：

衡量图像距离和剪影（轮廓）距离损失来比较差异

image distance：渲染的和输入的图像之间距离接近L1distance

Silhouette distance：mask IoU loss确保投影的轮廓和GT轮廓等同

插值一致性

F3的c说明了周期一致性方法，但有缺点，需要知道3D属性的先验分布

在这里本文使用插值一致性，因为先验分布可能歪曲

按原始数据集的相似分布，生成大量细颗粒度的三维网格属性

插值视为三维注释，并通过自监督倾斜来训练重建模型

插值3D属性A作为GT 3D注释，去渲染X

 然后通过E编码器，预测X

LossIC

 LandMark一致性

实现

datasets：

ShapeNet，重建物体和GT 3D之间的3D交叉点（IoU）评估

BFM(Basel Face Model) ，深度指标SIDE，平均角度偏差MAD

CUB-200-2011 category-specifific bird dataset consisting of single images and 2D annotations,

Mask IoU，SSIM，PCK，FID

图像合成应用

总结

我们提出了SMR，包括2D监督、IC。
和LC，从只有轮廓注释的单一图像中重建3D网格。
只用剪影注释来重建三维网格。IC产生细粒度的三维模型来训练属性编码器。
模型来训练属性编码器，而LC进一步提高了局部区域的重建质量。我们的SMR
改善了二维监督和无监督的重建，并在多个数据集上实现了最先进的三维重建。我们的方法的主要局限性是对非标的建模的困难。
我们的方法的主要限制是难以对非刚性物体（如人体）进行建模。
我们把它留给未来的工作，以建立一个更普遍的野外变形物体的重建方法。