就是跟着这个教程一步步改的:江大白-知乎-深入浅出Yolox之自有数据集训练超详细教程,主要从原文中的3.3
开始参考!
前提:自己的数据集文件夹排布是这样的:(可参考江大白知乎文章去划分)
训练准备:开始修改训练配置参数
因此前面自有的数据集只有一个类别,head。
将yolox/data/datasets/voc_classes.py
中的标签信息,进行修改(我改成了如下4个类别)
注意:每个类别后面都要加逗号,例如“head”后面加了一个逗号“,”。
exps/example/yolox_voc/yolox_voc_s.py
中的self.num_classes
yolox/exp/yolox_base.py
中的self.num_classes
已尝试,可行
exps/example/yolox_voc/yolox_voc_s.py
中的VOCDetection
yolox/data/datasets/voc.py
中,VOCDetection
类的初始化函数__init__
中的读取txt文件部分 for name in image_sets:
rootpath = self.root # 数据集根目录
for line in open(
os.path.join(rootpath, 'ImageSets', 'Main', name + '.txt')
):
self.ids.append((rootpath, line.strip()))
已尝试,可行
G:.
├─Annotations: 包含了所有的xml文件
├─ImageSets
│ ├─Main: 图像的划分情况
│ │ ├─train.txt
│ │ ├─val.txt
│ │ ├─test.txt
├─JPEGImages: 包含了所有图像 我的是png格式
-----------------------------------------------------------------------------------
以上是标准的voc数据集格式,但是yolov5的格式是像下面这样直接分成了train、val、test文件夹
下面是我已经上传到AutoDL中的数据集分布,图像体积可大了,8个G,所以我不可能再重新把它们放到同一个文件夹上传一边,因此就如上图,对voc.py里面指明图像位置的代码进行了修改
-----------------------------------------------------------------------------------
G:.
├─Annotations: 存放xml格式标签的文件夹
│ ├─test
│ ├─train
│ └─val
├─images: 存放png格式图像的文件夹
│ ├─test
│ ├─train
│ └─val
├─labels: 存放txt格式标签的文件夹
│ ├─test
│ ├─train
│ └─val
├─Main: 存放划分情况txt的文件夹,我的划分比例是 -> train: val: test = (9:1):1
│ ├─train.txt: 只包含了用于train的图像名称,加入图像文件名为001.png,则这里写为001
│ ├─val.txt
│ ├─test.txt
(1)在voc.py中修改
(2)在voc_eval.py中修改
哦豁,上面方法运行失败了,认真查看了出错原因,发现filename
本身就是一个绝对路径了,只是没有指明到val
文件夹下。因此重新改了下:
exps/example/yolox_voc/yolox_voc_s.py
中的get_eval_loader
函数以Yolox_s网络为例,比如在exps/default/yolox_s.py
中,self.depth=0.33, self.width=0.5
。和Yolov5中的不同网络调用方式一样。
exps/example/yolox_voc/yolox_voc_s.py
中的,self.depth
和self.width
yolox/exp/yolox_base.py
中的,self.depth
和self.width
因为自有数据集中,没有year信息,所以需要删除。
即修改yolox/data/datasets/voc.py
中,_get_voc_results_file_template
函数
在训练过程中,在原始的head数据集中,会生成一个results的文件夹,保存历史信息。
目前代码中是训练迭代10个epoch,再对验证集做1次验证。做以下修改设置为每迭代一个epoch,就使用验证集验证一次。
在yolox/exp/yolox_base.py
的class Exp
中,按住快捷键Ctrl+F
搜索定位到self.print_interval
处,做以下两处修改:
主要对读取验证信息的相关代码进行调整,代码在yolox/data/datasets/voc.py
中_do_python_eval
函数中。
① 因为自有数据集没有year信息,所以将其中的rootpath和name:
总共做了以下5处更改,改为相同的即可:
上图中的④作用是:在训练过程中,在原始的head数据集中,会生成一个annotations_cache的文件夹,保存历史信息:
将下载好的yolox_s.pth
放到YOLOX文件夹中,打开终端,在终端中输入:
python tools/train.py -f exps/example/yolox_voc/yolox_voc_s.py -d 0 -b 64 -c yolox_s.pth
训练的结果存放在train.py
所在目录下的YOLOX_outputs
文件夹中,也就是在G:\pycharmprojects\YOLOX-main\tools\YOLOX_outputs
,如下图所示:
注意:这个yolox不想yolov5那样,可以自己新建新的训练结果存放文件夹,所以每次训练的结果都会全部存放在上图的文件夹中。记得及时备份。(不知道在哪里改,害)
python tools/demo.py image -f exps/default/yolox_s.py -c ./yolox_s.pth --path assets/dog.jpg --conf 0.3 --nms 0.65 --tsize 640 --save_result --device gpu
解决方式:直接将YOLOX-main/tools/train.py
复制粘贴到根目录下,即YOLOX-main/train.py
(这是解决方法之一,但是建议使用下面的方法)
以下两个问题及解决方法参考链接:YOLOX训练自己的数据集
No module named 'yolox'
解决方法:在YOLOX-main/tools/train.py中将路添加进来:
import sys
sys.path.append(r'content/YOLOX-main')
No such file or directory:VOC2012
解决方法:由于本次使用的数据集格式为VOC2007,故在
YOLOX-main/exps/example/yolox_voc/yolox_voc_s.py的46行将image_sets中2012括号里的内容全部删除
类似找不到'pose'
的,还会出现找不到'truncated'
、'difficult'
,尝试了很多次之后,我自己在YOLOX-main\yolox\evaluators\voc_eval.py
文件中进行了如下更改就可以成功运行了:
obj_struct["pose"] = obj.find("pose").text if obj.find('pose') else 'Unspecified'
obj_struct["truncated"] = int(obj.find("truncated").text) if obj.find('truncated') else 0
obj_struct["difficult"] = int(obj.find("difficult").text) if obj.find('difficult') else 0
参考了B导这个的issue及回答,突然醒悟过来,是目标类别
不匹配!
因为我使用的是原始yolox.pth,所以对应的应该是voc的原始20种类别
,但是我已经改为了自己将要检测的4个类别名
,所以就报错咯!(阿这,改了还是报上面的错,不管了!)
啊,我知道了,还有类别数量没有改回20
!
类别名和数量的更改,参考(二)1.
有毒,还是不行!