FCOS模型在使用mindspore实现时,梯度集中在0的情况

问题描述:

ms版本的fcos模型在训练时不知道为什么,conv.weight的梯度训练几轮后会集中在0附近,与pytorch版的在训练初始化的时候是一样的

解答:

有可能出现了局部最优解,使得梯度接近于0,请问有没有调整学习率,调整学习率能否改善conv.weight的梯度在0的情况。请问使用的优化器是哪个,有没有修改优化器,是否还是出现梯度集中在0的情况。

可以参考下面链接排查:

https://mindspore.cn/docs/faq/zh-CN/r1.5/precision_tuning.html

你可能感兴趣的:(技术博客,pytorch,深度学习,计算机视觉)