yoloV7已经开源有一段时间了,近期已经基于yoloV7-pose的关键点算法进行了研究和修改。目前已经将该工程修改为,多分类+任意数量关键点:修改详细请看博客:基于yoloV7-pose添加任意关键点 + 多类别分类网络修改,修改代码已经开源:github地址,如果对大家有帮助也希望可以帮忙点点☆☆。
好的,接下来我们就开始训练模型。
很多小伙伴有点不知道这些关键点怎么设置,我简单说一下逻辑,一般是检测框+关键点的形式,也就是说关键点是伴随框的,首先是希望box框可以收敛,然后再是点的收敛,所以框是必须的,然后点是非必须的,所有有些框可以不需要设置关键点,这里大家可以将关键点的值设置为-1就行,
这种关键点的标记工具可以选择labelme,对目标进行不规则四边形标记。
标记完成后图像可视化应该是这样的:
其中 第一个点是:绿色;第二个点是:蓝色;第三个点是:红色;第四个点是:白色。点的顺序是否需要有标准,我个人觉得是需要的,部分任务可能不需要,但目前我发现都是需要注意点的顺序的。
标记完成的内容,依次转化成txt文档:
# -nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.txt
# data.txt 含义分别是: cls x y w h point1x point1y point2x point2y point3x point3y point4x point4y ...
# 类别 目标中心点x 目标中心点y 目标宽w 目标高h 目标点1x坐标 目标点1y坐标 目标点2x坐标 目标点2y坐标 目标点3x坐标 目标点3y坐标 目标点4x坐标 目标点4y坐标 依次类推
0 0.5739299610894941 0.1724137931034483 0.3715953307392996 0.29064039408866993 0.38910505836575876 0.08374384236453201 0.7587548638132295 0.029556650246305417 0.7607003891050583 0.2660098522167488 0.39299610894941633 0.32019704433497537
2 0.5739299610894941 0.1724137931034483 0.3715953307392996 0.29064039408866993 0.38910505836575876 0.08374384236453201 0.7587548638132295 0.029556650246305417 0.7607003891050583 0.2660098522167488 0.39299610894941633 0.32019704433497537
0 0.5739299610894941 0.1724137931034483 0.3715953307392996 0.29064039408866993 0.38910505836575876 0.08374384236453201 0.7587548638132295 0.029556650246305417 0.7607003891050583 0.2660098522167488 0.39299610894941633 0.32019704433497537
注意:
第1个值:类别索引,如果是单类别,这里值都为0
第2个值:目标框的中心点坐标x值,
第3个值:目标框的中心点坐标y值,
第4个值:目标框的宽度w,
第5个值:目标框的高度h,
第6个值:第1个关键点的x坐标,如果该关键点省去,设置坐标为-1
第7个值:第1个关键点的y坐标,如果该关键点省去,设置坐标为-1
第8个值:第2个关键点的x坐标,如果该关键点省去,设置坐标为-1
第9个值:第2个关键点的y坐标,如果该关键点省去,设置坐标为-1
第10个值:第3个关键点的x坐标,如果该关键点省去,设置坐标为-1
第11个值:第3个关键点的y坐标,如果该关键点省去,设置坐标为-1
第12个值:第4个关键点的x坐标,如果该关键点省去,设置坐标为-1
第13个值:第4个关键点的y坐标,如果该关键点省去,设置坐标为-1
…
后面依次是关键点的坐标值
这里是读取数据的txt文档,所以传入图片路径txt文件即可,其中txt文档书写如下:
# train.txt
./train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 11-11-52屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-57-27屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-19-54屏幕截图.png
./train/images/-nfs-阿拉伯车牌字符-外国车牌现场_20210519_1-外国车牌现场_20210519_1-e0d92b0990a1249388bc77bdfa8e43ed.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-51-28屏幕截图.png
./train/images/-nfs-车牌字符-约旦车牌-videoplayback-videoplayback_13_1460.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-56-51屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-27-50屏幕截图.png
这里读取数据是 :
txt前面的作为根目录,加上txt文档里面的路径,
所以图片的完整路径是这样存放的:
# txt前面的作为根目录,加上txt文档里面的路径,
# 所以图片的完整路径是这样存放的:
/media/wqg/3e165c12-9862-4867-b333-fbf93befd928/home/wqg/data/官网数据/PLATE/train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
传入txt文档即可开始训练了。记得修改nc的类别数量和对应的名称
训练代码使用的是:./yolov7-pose_Npoint_Ncla/train_Ncla_nPoint.py
设置关键点的数量,默认是以4个关键点进行训练,类别数量默认是读取数据文件中的nc值。
分别传入预训练权重,模型配置文件,修改好的数据文件,hyp文件,训练批次,训练尺寸等等。
这里我只是训练了100个eopch,数据也只是添加了500多张,