[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第1张图片

paper link: https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136660071.pdf

code link: GitHub - aim-uofa/Poseur: [ECCV 2022] The official repo for the paper "Poseur: Direct Human Pose Regression with Transformers".

  • Reference point:DETR中的Decoder收敛缓慢主要存在两个原因:1)匈牙利匹配;2)全特征图切块和queries的cross-attention。后者的一个主要改进来自Deformable DETR,提出通过Deformable Attention从特征图中稀疏采样,提高了训练收敛速度和准确率。如何初始化Deformable Attention的reference point是一个很大的问题,DETR中通过sigmoid(linear(query))求得,SLPT中提出用训练集的先验信息,而Poseur则提出基于Backbone预测的粗定位。
  • 基于uncertainty score融合多次推理结果
  • RLE Loss

目录

摘要

引言

本文贡献

方法

Architecture

Training Targets and Loss Functions

Inference

实验

Ablation Study

和SOTA方法的比较


摘要

  • 提出一种端到端可导的2D人体关键点检测算法;
  • 现有的基于Heatmap的方案,存在计算开销大等问题。本文引入Transformer,从图片直接回归关键点坐标,无需额外的中间表征;
  • 现有的基于回归的方案,存在特征不匹配等问题。本文引入Deformable Attention,逐步为关键点匹配最合适的特征;
  • 实验表明,在MS-COCO和MPII上超过现有最优的回归方法。

引言

  1. 基于Heatmap的方案,存在多个问题:1)Heatmap需要手工设计和调整;2)取极值操作不可导;3)heatmap分辨率小于原图,存在量化误差。
  2. 基于回归的方案,整体来说不存在上诉问题,但性能不如Heatmap。造成性能较差的的原因,包括:1)为了减少最后FC层的参数量,基于回归的方法(例如:DeepPose、RLE)使用Global Average Pooling (GAP) 降低CNN特征的分辨率,但这破坏了CNN特征的空间结构;2)基于回归的方法(例如:Direct Pose、SPM)的CNN特征和预测并没有对齐,导致定位不准确;3)回归方法没有探索关键点间的结构依赖关系。

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第2张图片

  • 本文提出Poseur,基本结构为CNN + Transformer decoder。它具有下列特点:1)不需要GAP降低特征分辨率;2)通过cross-attention机制,消除CNN特征和预测不匹配的问题;3)通过self-attention机制,学习关键点间的结构依赖关系。如下图,Poseur具有下列优点:1)在多个backbones上超过heatmap-based方法;2)在低分辨率backbones上效果仍然不错。

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第3张图片

本文贡献

  • 提出transformer-based框架,该框架计算开销小,同时在低分辨率特征下表现不错,例如:基于(ResNet-50,COCO),相较于SimpleBaseline,Poseur减少49% FLOPs,提高了5.0 AP。
  • 基于(ResNet-50,COCO),相较于RLE,Poseur提高了4.9AP;基于(HRNet-W48,COCO),相较于UDP-Pose,Poseur提高了1.0 AP;
  • 无需裁剪操作,Poseur可以很快适配在端到端pipeline上。基于(HRNet-W48,COCO),相较于PointSet,Poseur提高了3.8 AP。

方法

Architecture

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第4张图片

  • Backbone:基于CNN(ResNet、HRNet)或Transformer(HRFormer)的Backbone。Backbone有两个作用:1)提取多层特征,是query decoder中的输入之一;2)通过GAP + FC层回归粗结果,粗结果基于RLE监督。
  • Keypoint endoer:用于初始化query decoder的query Q。Q = Q_c + μ_f,其中Q_c是可学习变量,u_f是经过sine-cosine位置编码的初始化坐标。初始化坐标可能是:1)Backbone预测的粗结果;2)标准化的随机噪声,后者是本文提出一种query增强方法,用于改善模型鲁棒性。
  • Query decoder:与Transfomer的decoder类似,包括N层,每层包括self-attention,cross-attention和feed-forward networks(FFNs)。DETR中self-attention和cross-attention都是multi-head self-attention,Poseur中将cross-attention实现为efficient multi-scale deformable attention (EMSDA)。Deformable DETR中的MSDA,考虑Q个query和对应的reference point,通过query预测K个采样点的偏移量和权重系数,从多层特征中采样特征,并输出加权和。相较于Deformable DETR中的MSDA,本文实现的EMSDA仅在采样特征后添加线性层,降低计算开销。
  • 总结来说,Poseur通过Query decoder中的self-attention学习关键点间的依赖关系,通过基于deformable attention的cross-attention学习每个关键点对应的特征,解决特征不匹配的问题。

Training Targets and Loss Functions

  • 损失函数为RLE,包括Backbone的粗预测和query decoder的细粒度预测。

Inference

Prediction uncertainty estimation

  • 推理阶段包含两次前向,第一次为正常前向,第二次会将图片反转,通过uncertainty score融合两次推理结果。
  • 参考代码:https://github.com/aim-uofa/Poseur/blob/9358ed54dc597f9c46b114e8f57b018b5af55ddd/mmpose/models/detectors/poseur.py#L231
  • 考虑两个Poseur model,增加keypoint score为模型带来了4.7 AP的提升,这减少了大量false positives。考虑到通过normalization flow model计算uncertainty比较耗时,本文提出假设预测分布为拉普拉斯分布,整理后uncertainty可通过下式计算,其中a = 0.2为超参数。

 

实验

  • Datasets:1)COCO2017 Keypoint Detection,250K person,17 keypoints;2)MPII
  • Model settings:backbone ResNet-50 (pre-trained on ImageNet);input image 256 x 192;embedding size = 256;3 decoder layers。
  • Training:batch size = 256,325 epoch

Ablation Study

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第5张图片

  • Initialization of keypoint queries:相较于DETR中,refrence points = Sigmoid(Linear(object queries)),本文基于Backbone的粗预测,有0.6 AP的提升。
  • Noisy reference points sampling strategy:0.6 AP的提升。
  • Uncertainy estimation:不用RLE:70.0 AP;用RLE:73.6;predictions with re-score:74.7。
  • Varying decoder layers:增加decoder层数,会带来一定的提升。
  • Varying the input size:对小分辨率有效。

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第6张图片

和SOTA方法的比较

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第7张图片

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第8张图片

[ECCV‘22] Poseur: Direct Human Pose Regression with Transformers_第9张图片

 

你可能感兴趣的:(Human,Pose,Estimation,人工智能)