【MMDetection】ERROR:The testing results of the whole dataset is empty

问题描述

使用MMdetection复现论文swin Transformer,显示错误:

ERROR:The testing results of the whole dataset is empty

与此同时,各项评价指标如AP,AR结果趋于零,F1值变成-1,loss与grad_norm爆炸增加,具体情形如下图:【MMDetection】ERROR:The testing results of the whole dataset is empty_第1张图片

 

问题分析

看到报错的第一眼,猜测可能是数据集的问题,所以检查了数据集的路径,然后检查了数据集里面是否有图片,但经过一番验证,排除了这种可能性。如果数据集本身有问题,代码一开始就无法运行起来,因为mmdet一定会报错,而且报错内容是:找不到数据集或者说找不到某张图片。
再仔细观察报错:ERROR:The testing results of the whole dataset is empty,拿不到测试结果,结合爆炸的loss与grad_morm,我有理由怀疑是梯度爆炸或者梯度消失所导致的。有了这个猜测,我回头审视自己的代码,最有可能导致梯度爆炸的超参数就是学习率lr,是不是我自己设置的学习率lr不合适?
学习率是啥?
学习率是梯度下降多次迭代过程中,用来控制模型学习进度的超参数。可以这么理解,学习率大就学的快(梯度下降块),学习率小就学得慢,但学习率并非越大越好,学习率过大,容易造成梯度爆炸或者消失。

解决办法

MMdetection默认的学习率,大多都是0.02,如果不刻意更改,模型会使用这个学习率去训练,swin Transformer没办法在lr=0.02条件下训练,将学习率更改为论文设定的0.0001,模型就正常训练。
在MMdetection中,学习率的调整是在目录:configs/base/schedules/schedule_1x.py文件中:

【MMDetection】ERROR:The testing results of the whole dataset is empty_第2张图片

 

————————————————
原文链接:https://blog.csdn.net/fengbao24/article/details/127258699

你可能感兴趣的:(AI/ML/DL,人工智能,深度学习,机器学习)