深度学习在姿态跟踪中的应用 ML + Pose Tracking —— 概述

总结姿态跟踪基本方法（效果比较好的）。

写在前面：

参考论文

Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview

2021年发表

关注点：

• 深度学习在姿态跟踪领域的应用
• 实例级的/类别级的 + 姿态检测/姿态跟踪（四个方向：实例级的姿态检测、类别级的姿态检测、实例级的姿态跟踪、类别级的姿态跟踪）
• 输入数据为：单目相机的 RGB/RGBD vedio（不涉及数据融合）
• 论文内容涉及：评价指标、数据集、SOTA方法之间的比较

我比较关心姿态跟踪的部分。

正文：

问题描述

指明一个（或多个）待跟踪物体，跟踪它的姿态变化。

具体的：

• 输入：        
  • 一个RGB/RGBD vedio(a series of RGB/RGBD images)
  • 待跟踪物体第一帧的位置掩码(init 6D pose)
  • 待跟踪物体CAD模型 —— 即提前给出待跟踪物体的3D模型，也可以不给（目前大多数方法需要已知3D模型）
• 输出：每一个时刻的位姿

2D/3D/6D/7D/9D Tracking:

维度		输入数据格式	维度含义	计算物体尺寸	应用场景
2D		RGB	x,y	No	二维平面跟踪定位
3D	6Dof	RGB / RGBD + CAD	x,y,z,pitch,yaw,roll	No	跟踪已知3D模型/尺寸的物体
	7Dof	RGB / RGBD	x,y,z,roll,length,width,height	Yes	自动驾驶，假设车辆不会绕x,y轴旋转
	9Dof	RGB / RGBD	x,y,z,pitch,yaw,roll,length,width,height	Yes	跟踪未知物体（任意物体/已知类别物体）

* 我比较关注的是9Dof的跟踪，即如何跟踪一个未知物体的姿态

分类

姿态跟踪可以分为实例级的姿态跟踪和类别级的姿态跟踪：

• Instance-Level Pose Tracking
• Category-Level Pose Tracking

数据集

数据集	级别	数据格式	CAD模型	类别数	视频数	总图片数	分辨率
YCB video	instance	RGBD	Yes	21	92(80train+12test)	134k	640*480
HomebrewedDB	instance	RGB	No	33	13	17k	640*480 & 1920*1080
Objectron	category	RGB	No	9	15k	4M	1920*1440

方法

跟踪方式	具体方法	维度	数据要求	年份
Tracking by Detection	Mono3D-Tracking	7Dof		2019
	3DOT	7Dof
	MotionNet	9Dof
Tracking by Keypoints	CenterTrack	7Dof
	6-PACK	9Dof	RGBD	2019