《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》论文解读

一、参考资料

实时重建手部网格

3D Hand Mesh Reconstruction论文笔记

二、相关介绍

《Towards Accurate Alignment in Real-time 3D Hand-Mesh Reconstruction》（实时三维手部网格重建中的精确对齐）

Xiao Tang, Tianyu Wang, and Chi-Wing Fu.
International Conference on Computer Vision (ICCV)，CCF-A.
accepted for publication, 2021.

1. 背景

根据单RGB图像进行手部的三维网格重建，可以用于很多种情况，比如增强现实（AR）和混合现实体验（MR）等等。但这个任务需要实时速度、准确的手部姿势以及合理的网格图像对齐，能同时满足这三个要求对开发人员来说是一个很大的挑战。

要想落地，需要满足三条要求：

1. 需要实时速度快；
2. 重建的手部姿态和形状与真人的手部需要match；
3. 重建的手部和真人的手部在图像空间下需要对齐；

2. 创新点

任务分为三个阶段（pipeline）

1. The joint stage. 负责对 input image 进行 手部区域分割 和 手部21点3D关键点检测；
2. **The mesh stage. ** 用stage 1中浅层的 feature $F_l$ 和 joint feature $F_j$ 来预测一个 rough hand mesh 粗糙手部网格 $M_r$ ；
3. The refine stage. 结合 joint stage 的浅层特征，mesh stage 中 Joint encoder的浅层特征和 mesh stage 的 global feature 三部分，使用Graph-CNN来回归一个 offset mesh偏移网格，微调得到的hand mesh，最终实现网格图像对齐；
   
   

3. 效果

本文说可以达到 **finger-level（手指缝级别）**的对齐。