【七班】MMPose代码实践与耳朵穴位数据集实战【OpenMMLab AI实战营第二期Day3+作业1】

Update

0. 关键词：

物体检测，姿态估计，MMPose，RTMPose，RTMDet，openmmlab，mmdet

1. 数据集下载和解压与验收任务

三角板数据

# 删除原有的数据集文件（如有）

!rm -rf data/Triangle_215_Keypoint_coco data/Triangle_215_Keypoint_coco.zip # 下载数据集压缩包

!wget https://zihao-download.obs.cn-east-3.myhuaweicloud.com/yolov8/datasets/Triangle_215_Dataset/Triangle_215_Keypoint_coco.zip -P data !unzip data/Triangle_215_Keypoint_coco.zip -d data >> /dev/null # 解压压缩包

# !rm -rf data/Triangle_215_Keypoint_coco.zip # 删除压缩包

!mkdir data/test_triangle

# 图像-30度直角三角板，拍摄：同济子豪兄、田文博

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/test_img/triangle_1.jpg -P data/test_triangle

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/test_img/triangle_2.jpg -P data/test_triangle

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/test_img/triangle_3.jpg -P data/test_triangle

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/test_img/triangle_4.jpg -P data/test_triangle

# 视频-30度直角三角板，拍摄：同济子豪兄，田文博

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/videos/triangle_6.mp4 -P data/test_triangle

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/videos/triangle_7.mp4 -P data/test_triangle

!wget https://zihao-openmmlab.obs.myhuaweicloud.com/20220610-mmpose/triangle_dataset/videos/triangle_9.mp4 -P data/test_triangle

耳朵穴位关键点检测数据集

MS COCO格式，划分好了训练集和测试集，并写好了样例config配置文件

链接:百度网盘 请输入提取码提取码: 741p 标注人：张子豪、田文博

​

验收任务题目：基于RTMPose的耳朵穴位关键点检测

背景：

根据中医的“倒置胎儿”学说，耳朵的穴位反映了人体全身脏器的健康，耳穴按摩可以缓解失眠多梦、内分泌失调等疾病。耳朵面积较小，但穴位密集，涉及耳舟、耳轮、三角窝、耳甲艇、对耳轮等三维轮廓，普通人难以精准定位耳朵穴位。

任务

• 1.Labelme标注关键点检测数据集

• 2.划分训练集和测试集

• 3.Labelme标注转MS COCO格式

• 4.使用MMDetection算法库，训练RTMDet耳朵目标检测算法，提交测试集评估指标

• 5.使用MMPose算法库，训练RTMPose耳朵关键点检测算法，提交测试集评估指标

• 6.用自己耳朵的图像预测，将预测结果保存

• 7.用自己耳朵的视频预测，将预测结果保存

【4-7任务完成提交】 提交测试集评估指标（不能低于baseline指标的50%） 并使用训练的模型对自己的数据进行预测并保存呈现结果（可采用notebook或者输出图片和视频的形式呈现）。

【参考提交方法和格式】 【提交链接】issue 24 comment 【作业目录】2.Basic_mmdet3.x_V2

PS：任务1,2,3，示例代码作者子豪兄已经提供

目标检测Baseline模型（RTMDet-tiny）

​

关键点检测Baseline模型（RTMPose-s）

2. 实验环境创建和检查

# # python,envs, pytorch, torchvision 
conda create --name openmmlab-pose python=3.8 -y 
​​​​​​​conda activate openmmlab-pose

执行教程里的代码前最好使用cuda重新创建一个新环境

cuda版本可以和自己gpu驱动版本对应， python版本建议3.8，有3.9版本遇到难以解决的bug的

剩下的操作，完全可以参考教程里的解释，一路点run就可以得到结果了，

3. 一些需要注意的点

1. jupyter notebook中的！是执行命令行的意思，所以可以酌情在terminal中执行，注意使用cd命令修改当前文件夹

2. 我更加推荐jupyterlab，比notebook更好用，安装命令pip install jupyterlab