【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计

论文 : https://arxiv.org/abs/2204.06806
代码:
https://github.com/TexasInstruments/edgeai-yolov5
https://github.com/TexasInstruments/edgeai-yolox

效果

yolov5+oks损失,效果好到没朋友:
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第1张图片

模型结构

【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第2张图片
在head出的特征里,每个关键点增加3个变量输出,即是{x坐标,y坐标,conf置信度},17个人体关键点就有51个变量:
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第3张图片

评价指标OKS

https://zhuanlan.zhihu.com/p/48601321
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第4张图片

损失函数

论文作者觉得L1损失并不能很好表述OKS指标,遂设计了自创的oks损失:

【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第5张图片
还需要关键点置信度损失:

【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第6张图片
那么整个模型的损失是:
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第7张图片

关键点置信度

训练的时候,可以看见置信度就是1,否则就是0。 推理阶段,只保留置信度大于0.5的关键点。
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第8张图片

yolov7-pose

https://github.com/WongKinYiu/yolov7
原图:
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第9张图片
结果图:
【深度学习】YOLO-Pose 人体关键点估计 人体姿态估计_第10张图片

TODO

学习:论文里提到的一些 bottom-to-up 的pose模型,基于heatmap模型。

你可能感兴趣的:(深度学习机器学习,深度学习)