【已解决】ERROR:The testing results of the whole dataset is empty

问题描述

使用MMdetection复现论文swin Transformer，显示错误：ERROR:The testing results of the whole dataset is empty，与此同时，各项评价指标如AP,AR结果趋于零，F1值变成-1，loss与grad_norm爆炸增加，具体情形如下图：
图1： 图2：

图3：

问题分析

看到报错的第一眼，猜测可能是数据集的问题，所以检查了数据集的路径，然后检查了数据集里面是否有图片，但经过一番验证，排除了这种可能性。如果数据集本身有问题，代码一开始就无法运行起来，因为mmdet一定会报错，而且报错内容是：找不到数据集或者说找不到某张图片。
再仔细观察报错：ERROR:The testing results of the whole dataset is empty,拿不到测试结果，结合爆炸的loss与grad_morm,我有理由怀疑是梯度爆炸或者梯度消失所导致的。有了这个猜测，我回头审视自己的代码，最有可能导致梯度爆炸的超参数就是学习率lr，是不是我自己设置的学习率lr不合适？
学习率是啥？
学习率是梯度下降多次迭代过程中，用来控制模型学习进度的超参数。可以这么理解，学习率大就学的快（梯度下降块），学习率小就学得慢，但学习率并非越大越好，学习率过大，容易造成梯度爆炸或者消失。

解决办法

MMdetection默认的学习率，大多都是0.02，如果不刻意更改，模型会使用这个学习率去训练，swin Transformer没办法在lr=0.02条件下训练，将学习率更改为论文设定的0.0001，模型就正常训练。
在MMdetection中，学习率的调整是在目录：configs/base/schedules/schedule_1x.py文件中：

学习率调整后的正常的训练结果：