CVPR2023新作：从2D图像生成个性化3D卡通人物

1. Title: 3DAvatarGAN Bridging Domains for Personalized Editable Avatars

2. Affiliation: KAUST (Peter Wonka), Snap Inc. (Hsin-Ying Lee, Menglei Chai, Aliaksandr Siarohin, Sergey Tulyakov)

3. Authors: Rameen Abdal, Hsin-Ying Lee, Peihao Zhu, Menglei Chai, Aliaksandr Siarohin, Peter Wonka, Sergey Tulyakov

4. Keywords: 3D-GAN, personalized avatars, artistic datasets, deformation-based modeling, inversion method

5. Summary:

• (1): 该文章研究的背景是3D卡通人物建模领域，旨在提供一种从单张2D图片中生成和编辑个性化3D卡通人物的方法。

• (2): 过去的方法大多是基于已知的3D模型和图像对生成3D人物，因此需要大量的3D模型和参数注释，且生成的卡通人物质量不高。而本文提出的方法利用已有的2D艺术数据集和3D GAN模型，不需要相机参数注释，能够生成及编辑高质量的个性化卡通人物。

• (3): 本文提出一种基于调整相机参数分布、纹理质量的优化方法和变形建模技术，可以将2D的GAN生成器的知识转到3D生成器上，从而实现对3D卡通人物的生成和编辑。

• (4): 本方法在Caricatures, Pixar toons, Cartoons, Comics等艺术istic数据集上进行测试，获得了高质量的生成结果。本文还提供了一种新的3D-GAN倒置方法，实现了从目标域到源域的潜在空间映射。

6. Methods:

• (1): 本文提出了一种从2D图像生成个性化3D卡通人物的方法。该方法基于3D GAN模型，无需相机参数注释，能够生成高质量的3D卡通人物。

• (2): 该方法通过调整相机参数分布和纹理质量的优化方法和变形建模技术，将2D的GAN生成器的知识转移到3D生成器上，从而实现对3D卡通人物的生成和编辑。本文还提供了一种新的3D-GAN倒置方法，实现了从目标域到源域的潜在空间映射。

• (3): 本方法在艺术istic数据集上进行测试，获得了高质量的生成结果。此外，本方法能够提供个性化编辑功能，支持基于几何和语义的局部调整，保持了目标的身份标识。

7. Conclusion:

• (1): 本文提出了一种从2D图像生成个性化3D卡通人物的方法，以及一种针对3D GAN的领域自适应方法，填补了卡通人物生成领域的空白。该方法有助于提高3D卡通人物生成的质量和效率。

• (2): 创新点：本文提出了无需相机参数注释、基于变形建模技术的3D卡通人物生成和编辑方法，以及一种新的3D-GAN倒置方法，解决了卡通人物生成的难题。表现：实验结果表明，本方法能够生成高质量的个性化3D卡通人物，并支持局部调整，保持了目标的身份标识。工作量：本方法需要对相机参数分布、纹理质量等因素进行优化，测试数据集较少，需要更多的验证和扩展。