20220330 姿态估计、动作识别

一.关键点姿态估计

在计算机视觉任务中,关键点是指图像中的一些特定位置,例如人体关键点、面部特征点等。预测关键点的方法很多,其中一种常见的方法是使用Heatmap来预测。
Heatmap是一种图像,其中各个像素的值表示该位置的特征强度或权重。在预测关键点的任务中,Heatmap可以用来表示图像中可能存在的关键点的位置和置信度。具体来说,对于图像中的每个关键点,可以根据其位置在Heatmap上生成一个高斯分布,然后将每个高斯分布叠加到Heatmap上,生成一个包含所有关键点位置信息的Heatmap。
在训练时,我们将生成的Heatmap与真实的Heatmap进行比较,计算两者之间的损失,然后通过反向传播来更新神经网络中的权重。在测试时,我们可以使用预测的Heatmap来得到关键点的位置和置信度。具体来说,我们可以通过查找Heatmap中的最大值来找到每个关键点的位置,然后使用该位置作为预测值。同时,我们还可以使用Heatmap中的最大值作为置信度,表示该位置是关键点的概率。
需要注意的是,预测关键点的方法不止一种,除了使用Heatmap外,还可以使用一些其他的方法,例如直接回归关键点坐标、使用卷积神经网络等。选择不同的方法,需要根据具体的任务需求和数据特点来进行选择和优化。

1.人体关键点

GitHub - stefanopini/simple-HRNet: Multi-person Human Pose Estimation with HRNet in Pytorch

2.人脸关键点 

paddlepaddle-tinypose  HRNET-lite  yolov5-face

3.Alphapose

https://www.cnblogs.com/sakuraie/p/13341507.html

4.自上而下GitHub - sithu31296/pose-estimation: Easy to use SOTA Top-Down Multi-person Pose Estimation Models in PyTorch

5.自下而上

GitHub - wmcnally/kapao: KAPAO is an efficient single-stage human pose estimation model that detects keypoints and poses as objects and fuses the detections to predict human poses.

二.行为分析

1.GCN

GitHub - tkipf/gcn: Implementation of Graph Convolutional Networks in TensorFlow

三.动作识别

方案

https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/pphuman_action.md#%E5%9F%BA%E4%BA%8E%E9%AA%A8%E9%AA%BC%E7%82%B9%E7%9A%84%E8%A1%8C%E4%B8%BA%E8%AF%86%E5%88%AB

1.slowfast

行为识别. slowfast算法 - 知乎

GitHub - facebookresearch/SlowFast: PySlowFast: video understanding codebase from FAIR for reproducing state-of-the-art video models.

2.tsm

视频分类 | 论文 2019 [TSM] TSM: Temporal Shift Module for Efficient Video Understanding - 知乎

ppTSM(Paddle temporal-shift-module)训练部署记录

 https://github.com/mit-han-lab/temporal-shift-module

3.mmaction2

https://github.com/open-mmlab/mmaction2

https://github.com/kennymckormick/pyskl

4.

https://github.com/PaddlePaddle/PaddleVideo

你可能感兴趣的:(python)