【2020-CVPR-3D人体姿态估计】PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation

​PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation

题目：《PandaNet：基于锚点的单镜头多人 3D 姿态估计》

作者：

来源：CVPR 2020

研究方向：单目-多人姿态识别-有监督-多任务

已有研究：

1、对现有3D HPE的SOTA方法分为两种：

    ①自顶向下：设定识别一个人的边界框，针对每个人得到单人的3D姿态。

     （缺点：依赖于检测边框，并且处理拥挤场景较慢，算法复杂度随着人数的上升而上升）

    ②自底向上：在单目中产生多人关节位置，将关节点连接形成图，利用图优化剔除错误连接；        （不受问题增加而线性增加，但是采用热图的方法：通过输入图像+预测热图采用下采样导致分辨率变低，从而影响了精度；同时也无法区分两个很近的拼接缝；两个相同的3D姿态不能同时映射在相同的2D姿态中）

改进：提出①基于锚点的表示：代替热图的使用。人体匹配的锚点存储完整的3D姿态，避免了关节遮挡问题，允许低分辨率的输出

                 ②丢弃不明确的锚点：不允许读出相对的3D pose

                 ③自动加权处理：解决图像中不同大小人的不平衡、关节大小不同的不确定性

本文研究内容（思路）：

        提出：以单目对预先设定执行模型边界框进行检测（以密接方式进行），将检测到的人体回归至2D、3D姿态

        解决问题：①多人重叠问题。引入姿态感知锚选择策略

                        ②图像中不同大小的人不平衡、关节由大小不同的不确定性。提出自动优化尺度和关节权重（从损失函数出发）

PandaNet：(Pose Estimation and Dectection Anchor-based Network

           使用预定义锚框，预测一组边界框以及其置信度、2D姿态、3D姿态后，使用非极大值抑制[1] 过滤出对相同人的分类框，最终得到3D HPE。

        （1）基于IOU的边界框偏移量监督

             偏移量常见检测方法：①smooth-L1;②L1-Loss；③L2-Loss；④IOU

             本文通过预测框B(ˆ)与真实框B的IOU，得到重置函数O(^),定位出LOU损失和损失函数Lloc

       （2）基于IOU的2D HPE：

               使用2D HPE原因：

                        ①像素分类损失函数要用于预测2D POSE；

                         ②最小化2D pose和根相对3D pose计算投影损失用于得到相机位置3D pose。

              以预测关节点和真实关节点的两个点位正方形O(^)2d得到IOU损失+损失函数Los2d

        （3）3D HPE监督

               将人体比例（以骨架）标准化，骨长度之和为1，欧几里得距离作为监督，得到损失：真实3D姿态与预测3D姿态的均方误差

       （4）姿态感知锚点选择（用于对姿态重叠部分处理）

                选择出非歧义（不重叠的点）的锚点，正向锚点标签为C={1,0}

                1:预测框O(^)*所有关节平均值0>0.5的情况下，定义出：像素损失函数Lcls

（5）随机不确定性损失加权

                对（1）-（4）多任务适当加权，以此处理图像中不同大小的人不平衡、关节由大小不同的不确定性。

数据集：

1、用JTA数据集

          非现实数据，人数0-60人，距离0.1-100米，输入928*576高清图片。

          不同照明情况，多城市场景，大量不同姿态。

2、 用MUPOTS-3D数据集

         3人，20个场景（室内+室外）

3、用CMU Panoptic数据集

       多人，环境场景相同，姿态多种，选用4种进行实验

精度评估

   ① MPJPE

   ②  AP

  ③ 3DPCK[2] 

​

---

 [1]

  [2]如果预测关节与真实关节在特定阈值的距离之内，则被检测关节是正确的