Learning Texture Generators for 3D Shape Collections from Internet Photo Sets(2021BMVC) 阅读笔记

输入:一个三维形状以及从各种视点捕获的同一类对象的大量照片。
目标:训练形状感知纹理生成器。
Learning Texture Generators for 3D Shape Collections from Internet Photo Sets(2021BMVC) 阅读笔记_第1张图片
注:对照片没有具体要求,可以是从互联网上随机下载的照片。

参数化(Texture Parameterization):将三维模型参数化为一个基于视图的纹理图谱,通过轮廓提供形状条件。

语义对齐:一个好的参数化应该遵循形状的语义,便于将语义纹理的生成与其在纹理中的位置联系起来。然而,全自动语义对齐是很难的。因此,选择使用基于视图的纹理投影参数化,作者定义了前、后、左、右、顶、底视点,并将投影坐标指定为顶点的纹理坐标。

鉴别器(Discriminator)的作用:每个鉴别器对照从相似视点观看的样例图像检查生成的纹理。如果所有的视图都通过了鉴别器,则认为纹理生成成功。

注:Xiao Li, Yue Dong, Pieter Peers, and Xin Tong. Synthesizing 3d shapes from silhouette image collections using multi-projection generative adversarial networks. In CVPR,pages 5535–5544, 2019.从轮廓图像获得粗略的视点估计,并基于视点类别将训练图像划分为不同类别。

如何保证chart间语义一致?
令每个视图包括来自多个chart的纹理(例如,在左视图和前视图之间),使得每个鉴别器可以同时向多个生成器提供梯度。

防止鉴别器记忆背景:将每张照片中的背景替换为纯色。

防止鉴别器记忆轮廓:给定照片中的轮廓,生成图像(用现有的GAN很容易训练 ),将其加入一起进行训练,从而将鉴别器训练的重点放在内容上,而不是轮廓上。

消除轮廓的大小和位置影响:在传递到鉴别器之前,应用一个随机比例和一个随机移位。

你可能感兴趣的:(3d,人工智能,生成对抗网络)