3D mesh重建003-Texformer：3D Human Texture Estimation from a Single Image with Transformers

3D mesh重建003-Texformer：3D Human Texture Estimation from a Single Image with Transformers

---

0 个人理解

  作者提出一种使用tansformer注意力的人体mesh的texture处理方法，区别于之前的CNN结构，tansformer的自注意力机制应该能让纹理的学习有一个更全局的视野。作者指出这种方法融合了基于图像的模型和texture-flow模型的优点。
  目前对texture重建这块了解不够深入，但是感觉方法略微复杂，也有很多限制，首先就是基于语义，然后还有一个预训练网络，形式上也不够美观，cnn-transformer-cnn，实际上cnn也能注意力。
  texture的学习方式一般有两种，一个是direct regression of pixel values in the UV texture map 但通常会导致模糊，另外一个就是学习texture flow。整体来说基于图像的方法生成纹理更符合人类直觉，但是有些地方没有是通过回归的方法去计算，会导致细节不够惊喜给人一种模糊的感觉。基于纹理流的方法就是细节会精细一些，但会有一些artifacts就是一些不符合人类直觉的部分。
三维重建主要包括，几何，纹理和材质。纹理部分也是核心需求。这块了解内容有限需要多学习。

1 论文结构

  纹理实际上在各个部位是有关联的，这应该是关于人和大部分物是有关系的，做法有一定作用，不过对于人穿着上的图案呀款式呀这些，可能学到的不一定是一个很好的经验。

  作者在整体上考虑了多尺度特性，记得之前一个老师讲课提到图像里面加多尺度有没有用不说至少不会降点。qkv构造和融合rgb跟flow可能是取得好效果的关键。transformer单元，允许两个不同空间之间的有效信息交换，即图像空间和UV纹理空间，更好的学习到一些关联信息。