20220330 姿态估计、动作识别
一.关键点姿态估计
在计算机视觉任务中，关键点是指图像中的一些特定位置，例如人体关键点、面部特征点等。预测关键点的方法很多，其中一种常见的方法是使用Heatmap来预测。
Heatmap是一种图像，其中各个像素的值表示该位置的特征强度或权重。在预测关键点的任务中，Heatmap可以用来表示图像中可能存在的关键点的位置和置信度。具体来说，对于图像中的每个关键点，可以根据其位置在Heatmap上生成一个高斯分布，然后将每个高斯分布叠加到Heatmap上，生成一个包含所有关键点位置信息的Heatmap。
在训练时，我们将生成的Heatmap与真实的Heatmap进行比较，计算两者之间的损失，然后通过反向传播来更新神经网络中的权重。在测试时，我们可以使用预测的Heatmap来得到关键点的位置和置信度。具体来说，我们可以通过查找Heatmap中的最大值来找到每个关键点的位置，然后使用该位置作为预测值。同时，我们还可以使用Heatmap中的最大值作为置信度，表示该位置是关键点的概率。
需要注意的是，预测关键点的方法不止一种，除了使用Heatmap外，还可以使用一些其他的方法，例如直接回归关键点坐标、使用卷积神经网络等。选择不同的方法，需要根据具体的任务需求和数据特点来进行选择和优化。
1.人体关键点
GitHub - stefanopini/simple-HRNet: Multi-person Human Pose Estimation with HRNet in Pytorch
2.人脸关键点
paddlepaddle-tinypose HRNET-lite yolov5-face
3.Alphapose
https://www.cnblogs.com/sakuraie/p/13341507.html
4.自上而下GitHub - sithu31296/pose-estimation: Easy to use SOTA Top-Down Multi-person Pose Estimation Models in PyTorch
5.自下而上
GitHub - wmcnally/kapao: KAPAO is an efficient single-stage human pose estimation model that detects keypoints and poses as objects and fuses the detections to predict human poses.
二.行为分析
1.GCN
GitHub - tkipf/gcn: Implementation of Graph Convolutional Networks in TensorFlow
三.动作识别
方案
https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.5/deploy/pipeline/docs/tutorials/pphuman_action.md#%E5%9F%BA%E4%BA%8E%E9%AA%A8%E9%AA%BC%E7%82%B9%E7%9A%84%E8%A1%8C%E4%B8%BA%E8%AF%86%E5%88%AB
1.slowfast
行为识别. slowfast算法 - 知乎
GitHub - facebookresearch/SlowFast: PySlowFast: video understanding codebase from FAIR for reproducing state-of-the-art video models.
2.tsm
视频分类 | 论文 2019 [TSM] TSM: Temporal Shift Module for Efficient Video Understanding - 知乎
ppTSM(Paddle temporal-shift-module)训练部署记录
https://github.com/mit-han-lab/temporal-shift-module
3.mmaction2
https://github.com/open-mmlab/mmaction2
https://github.com/kennymckormick/pyskl
4.
https://github.com/PaddlePaddle/PaddleVideo