AI实战营:人体姿态估计与MMPose

目录

人体姿态估计的介绍与应用

2D姿态估计

多人姿态估计:自顶向下方法

多人姿态估计:自底向上方法

多人姿态估计:单阶段方法

基于Transformer的方法

基于回归的自顶向下方法

DensePose(2014)

通过级联提升精度

回归方法的优势与劣势

Residual Log-likelihood Estimation(RLE)(2021)

背景知识:回归和最大似然估计的联系

背景知识:标准化流Normalizing Flow

RLE的整体设计

残差似然函数

完整的RLE模型

基于热力图的自顶向下方法

Hourglass(2016)

局部图像的局限

级联Hourglass模块

不同的级联和监督方式

Hourglass模块

Simple Baseline(2018)

HRNet(2020)

HRNet的特征融合方式

HRNet配合不同任务头

自底向上方法

Part Affinit Fields & OpenPose(2016)

关键点与肢体的预测

关键点与关节预测

基于亲和度匹配关键点

单阶段方法

SPM(2019)

Structrued Pose Representation(SPR)

Hierarchical SPR

网络设计 

回归策略

基于Transformer的方法

PRTP 2021

PRTR两阶段算法

PRTR单阶段算法

TokenPose(2021)

2D姿态估计小结

3D姿态估计

任务描述

绝对坐标VS相对坐标

难点

思路1:直接预测

思路2:利用视频信息

思路3:利用多视角图像

直接预测:Coarse-to-Fine Volumetric Prediction 2017

直接预测:Simple Baseline 3D(2017)

利用视频信息:VideoPose3D(2018)

利用多角度图像:VoxelPose(2020)

人体姿态估计的评估方法

Percentage of Correct Parts(PCP)

Percentage of Detected Joints(PDJ)

Percentage of Correct Key-points(PCK)

Object Keypoint Similarity (OKS) base mAP

DensePose(2014)与人体参数模型

SMPL人体参数化模型

SMPLify

HMR

总结


  • 人体姿态估计的介绍与应用

    • 什么是人体姿态估计
      • 从给定的图像中识别人脸、手部、身体等关键点。
        • AI实战营:人体姿态估计与MMPose_第1张图片
    • 3D姿态估计
      • 预测人体关键点在三维空间中的坐标,可以在三维空间中还原人体的姿态 
        • AI实战营:人体姿态估计与MMPose_第2张图片
    • 人体参数化模型
      • 从图像或视频中恢复出运动的3D人体模型
        • AI实战营:人体姿态估计与MMPose_第3张图片
    • 下游任务:行为识别、人机交互、动作行为分析

  • 2D姿态估计


    • 任务描述
      • AI实战营:人体姿态估计与MMPose_第4张图片
  • 基本思路:基于回归(Regression Based)
    • AI实战营:人体姿态估计与MMPose_第5张图片
  • 基本思路:基于热力图(Heatmap Based)

    • AI实战营:人体姿态估计与MMPose_第6张图片
    • 热力图可以基于原始关键点坐标生成,作为训练网络的监督信息
    • 网络预测的热力图也可以通过求极大值等方法得到关键点的坐标
    • 模型预测热力图比直接回归坐标相对容易,模型精度相对更高,因此主流算法更多基于热力图,但预测热力图的计算消耗大于直接回归
  • 从数据标注生成热力图
    • AI实战营:人体姿态估计与MMPose_第7张图片
  • 使用热力图训练模型
    • AI实战营:人体姿态估计与MMPose_第8张图片
  • 从热力图还原关键点
    • AI实战营:人体姿态估计与MMPose_第9张图片
    • AI实战营:人体姿态估计与MMPose_第10张图片
  • 多人姿态估计:自顶向下方法

    • AI实战营:人体姿态估计与MMPose_第11张图片
  • 多人姿态估计:自底向上方法

    • AI实战营:人体姿态估计与MMPose_第12张图片
  • 多人姿态估计:单阶段方法

    • AI实战营:人体姿态估计与MMPose_第13张图片
  • 基于Transformer的方法

  • 基于回归的自顶向下方法

    • DensePose(2014)

      • AI实战营:人体姿态估计与MMPose_第14张图片
    • 通过级联提升精度

      • AI实战营:人体姿态估计与MMPose_第15张图片
    • 回归方法的优势与劣势

      • 优势:
        • 回归模型理论上可以达到无线精度,热力图方法的精度受限于特征图的空间分辨率
        • 回归模型不需要维持高分辨率特征图,计算层面更高效,相比之下,热力图方法需要计算和存储高分辨率的热力图和特征图,计算成本高
      • 劣势:
        • 图像到关键点坐标的映射高度非线性,导致回归坐标比回归热力图更难,回归方法的精度也弱于热力图方法,因此DeepPose提出之后的很长一段时间内,2D关键点预测算法主要基于热力图
    • Residual Log-likelihood Estimation(RLE)(2021)

      • AI实战营:人体姿态估计与MMPose_第16张图片
    • 背景知识:回归和最大似然估计的联系

      • AI实战营:人体姿态估计与MMPose_第17张图片
    • 背景知识:标准化流Normalizing Flow

      • AI实战营:人体姿态估计与MMPose_第18张图片
      • AI实战营:人体姿态估计与MMPose_第19张图片
      • AI实战营:人体姿态估计与MMPose_第20张图片
    • RLE的整体设计

      • AI实战营:人体姿态估计与MMPose_第21张图片
      • AI实战营:人体姿态估计与MMPose_第22张图片
    • 残差似然函数

      • AI实战营:人体姿态估计与MMPose_第23张图片
    • 完整的RLE模型

      • AI实战营:人体姿态估计与MMPose_第24张图片
  • 基于热力图的自顶向下方法

    • Hourglass(2016)

      • AI实战营:人体姿态估计与MMPose_第25张图片
    • 局部图像的局限

      • AI实战营:人体姿态估计与MMPose_第26张图片
      • AI实战营:人体姿态估计与MMPose_第27张图片
    • 级联Hourglass模块

      • AI实战营:人体姿态估计与MMPose_第28张图片
    • 不同的级联和监督方式

      • AI实战营:人体姿态估计与MMPose_第29张图片
    • Hourglass模块

      • AI实战营:人体姿态估计与MMPose_第30张图片
    • Simple Baseline(2018)

      • AI实战营:人体姿态估计与MMPose_第31张图片
    • HRNet(2020)

      • AI实战营:人体姿态估计与MMPose_第32张图片
    • HRNet的特征融合方式

      • AI实战营:人体姿态估计与MMPose_第33张图片
    • HRNet配合不同任务头

      • AI实战营:人体姿态估计与MMPose_第34张图片
  • 自底向上方法

    • Part Affinit Fields & OpenPose(2016)

      • AI实战营:人体姿态估计与MMPose_第35张图片
    • 关键点与肢体的预测

      • AI实战营:人体姿态估计与MMPose_第36张图片
    • 关键点与关节预测

      • AI实战营:人体姿态估计与MMPose_第37张图片
    • 基于亲和度匹配关键点

      • AI实战营:人体姿态估计与MMPose_第38张图片
  • 单阶段方法

    • SPM(2019)

    • Structrued Pose Representation(SPR)

      • AI实战营:人体姿态估计与MMPose_第39张图片
    • Hierarchical SPR

      • AI实战营:人体姿态估计与MMPose_第40张图片
    • 网络设计 

      • AI实战营:人体姿态估计与MMPose_第41张图片
    • 回归策略

      • AI实战营:人体姿态估计与MMPose_第42张图片
    • 损失函数

      • AI实战营:人体姿态估计与MMPose_第43张图片
  • 基于Transformer的方法

    • PRTP 2021

      • AI实战营:人体姿态估计与MMPose_第44张图片
    • PRTR两阶段算法

      • AI实战营:人体姿态估计与MMPose_第45张图片
    • PRTR单阶段算法

      • AI实战营:人体姿态估计与MMPose_第46张图片
    • TokenPose(2021)

      • AI实战营:人体姿态估计与MMPose_第47张图片
      • AI实战营:人体姿态估计与MMPose_第48张图片
    • 2D姿态估计小结

      • AI实战营:人体姿态估计与MMPose_第49张图片
  • 3D姿态估计

    • 任务描述

      • AI实战营:人体姿态估计与MMPose_第50张图片
    • 绝对坐标VS相对坐标

      • AI实战营:人体姿态估计与MMPose_第51张图片
    • 难点

    • 思路1:直接预测

      • AI实战营:人体姿态估计与MMPose_第52张图片
    • 思路2:利用视频信息

      • AI实战营:人体姿态估计与MMPose_第53张图片
    • 思路3:利用多视角图像

      • AI实战营:人体姿态估计与MMPose_第54张图片
    • 直接预测:Coarse-to-Fine Volumetric Prediction 2017

      • AI实战营:人体姿态估计与MMPose_第55张图片
      • AI实战营:人体姿态估计与MMPose_第56张图片
    • 直接预测:Simple Baseline 3D(2017)

      • AI实战营:人体姿态估计与MMPose_第57张图片
    • 利用视频信息:VideoPose3D(2018)

      • AI实战营:人体姿态估计与MMPose_第58张图片
    • 利用多角度图像:VoxelPose(2020)

      • AI实战营:人体姿态估计与MMPose_第59张图片
  • 人体姿态估计的评估方法

    • Percentage of Correct Parts(PCP)

      • AI实战营:人体姿态估计与MMPose_第60张图片
    • Percentage of Detected Joints(PDJ)

      • AI实战营:人体姿态估计与MMPose_第61张图片
    • Percentage of Correct Key-points(PCK)

      • AI实战营:人体姿态估计与MMPose_第62张图片
    • Object Keypoint Similarity (OKS) base mAP

      • AI实战营:人体姿态估计与MMPose_第63张图片
  • DensePose(2014)与人体参数模型

    • 人体表面参数化
      • AI实战营:人体姿态估计与MMPose_第64张图片
    • 标注方法
      • AI实战营:人体姿态估计与MMPose_第65张图片
    • 网络结构
      • AI实战营:人体姿态估计与MMPose_第66张图片
    • 改进设计
      • AI实战营:人体姿态估计与MMPose_第67张图片
    • 身体表面网格(Body Mesh)
      • AI实战营:人体姿态估计与MMPose_第68张图片
    • 混合蒙皮技术(Blend Skinning)
      • AI实战营:人体姿态估计与MMPose_第69张图片
    • 线性混合蒙皮LBS(Linear Blend Skinning)
      • AI实战营:人体姿态估计与MMPose_第70张图片
    • SMPL人体参数化模型

      • AI实战营:人体姿态估计与MMPose_第71张图片
    • 形参参数与姿态参数
      • AI实战营:人体姿态估计与MMPose_第72张图片
    • SMPL的基本设计逻辑
      • AI实战营:人体姿态估计与MMPose_第73张图片
    • SMPL人体模型表示
      • AI实战营:人体姿态估计与MMPose_第74张图片
    • 训练设计
      • AI实战营:人体姿态估计与MMPose_第75张图片
    • SMPL模型的应用
      • AI实战营:人体姿态估计与MMPose_第76张图片
    • SMPLify

      • AI实战营:人体姿态估计与MMPose_第77张图片
    • SMPLify算法流程
      • AI实战营:人体姿态估计与MMPose_第78张图片
    • 关键点投影损失
      • AI实战营:人体姿态估计与MMPose_第79张图片
    • 人体姿态约束
      • AI实战营:人体姿态估计与MMPose_第80张图片
    • “胶囊”近似人体
      • AI实战营:人体姿态估计与MMPose_第81张图片
    • 人体形态约束
      • AI实战营:人体姿态估计与MMPose_第82张图片
    • 损失函数
      • AI实战营:人体姿态估计与MMPose_第83张图片
    • HMR

      • AI实战营:人体姿态估计与MMPose_第84张图片
    • 算法设计
      • AI实战营:人体姿态估计与MMPose_第85张图片
    • 回归模型设计
      • AI实战营:人体姿态估计与MMPose_第86张图片
    • 2D投影损失
      • AI实战营:人体姿态估计与MMPose_第87张图片
    • 引入判别器
      • AI实战营:人体姿态估计与MMPose_第88张图片
    • 损坏函数
      • AI实战营:人体姿态估计与MMPose_第89张图片

总结

AI实战营:人体姿态估计与MMPose_第90张图片

你可能感兴趣的:(深度学习,人工智能,深度学习)