姿态估计及跟踪“Detect-and-Track: Efficient Pose Estimation in Videos”

基于行人检测和视频理解，估计及跟踪人体关键点。首先在单帧或短视频剪辑估计关键点，然后使用轻量级网络生成关键点的估计。单帧的估计使用Mask-RCNN，3D Mask-RCNN。在PoseTrack上对比，MOTA为51.8%。

相关工作
单帧图像姿态估计：Mask R-CNN，DeeperCut，[4][33]
多帧姿态估计：PoseTrack[22]，[18]
视频多目标跟踪：递归神经网络[32，38]，[9]

两步法姿态跟踪
1.时空姿态估计
第一步是使用Mask R-CNN估计姿态。将2D卷积扩展到3D，3D卷积核的接收域分布在时空维度，模型的输入是T帧相邻的帧。扩展RPN，预测目标的候选区域。候选区域通过时空的RoIAlign操作，提取特定实例的特征。这些特征输入到头部用于姿态估计，3D Mask R-CNN的输出是tube集合的关键点估计，模型如下图所示：

基础网络
扩展ResNet到3D ResNet，center初始化替代mean初始化

Tube Proposal Network
给点基础网络的特征图，滑动一个小的3D模型，连接到两个分支全连接层，用于tube分类和回归。

3D Mask R-CNN 头
TPN给出了tube候选，下一步对其进行进一步的分类和回归，形成行人轨迹。将RoIAlign扩展，提取时空特征。TPN分成T个2D的box，使用RoIAlign从特征图中提取区域。区域串联成 T×R×R 的特征图，对于分类回归，R的大小是7，对于关键点检测，R是14。关键点检测头包含8个3D卷积层，2个反卷积曾生成关键点热度输出。

2.关键点预测串联成轨迹
数据关联问题，之前有使用Hungarian算法的双向匹配法和贪心算法，现在有RNN对特征的演变进行建模。论文将检测表示成图，检测到的bbox是一个节点，边是帧间bbox的关联。边的损失是连接的两个box属于同一个人的负似然估计。有了似然估计，将问题简化为双向匹配。
似然估计的衡量有手工设计的和学习到的，手工设计的有余弦距离、IoU、姿态相似度。学习的使用LSTM模型。

实验结果