记模型训练损失为NAN

        前段时间想把我模型的输入由DWT子带改为分块的图像块,一顿魔改后,模型跑着跑着损失就朝着奇怪的方向跑去了:要么突然增大,要么变为NAN。

 


 

         为什么训练损失会突然变为NAN呢?这个作者将模型训练过程中loss为NAN或INF的原因解释得好好详尽(感谢):Pytorch训练模型损失Loss为Nan或者无穷大(INF)原因_pytorch loss nan-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/ytusdc/article/details/122321907        我经过输入几番输入打印测试,确认我的输入确实没有问题,那么问题只能出现在模型的前向传播或者反向梯度传播过程中。我跟着这个作者的排查思路,最终定位问题出在梯度反向传播上,于是通过梯度剪裁成功解决NAN问题(我还增大了batch_size的大小,输入修改后,我发现模型运算量减小了,显存支持我每个step跑更大的batch_size了)。pytorch训练过程中出现nan的排查思路_torch判断nan-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/mch2869253130/article/details/111034068修改部分:

        if mode == 'train':
            # # 1.debug loss
            # assert torch.isnan(total_loss).sum() == 0, print(total_loss)
            total_loss.backward()

            # # 2. 如果loss不是nan,那么说明forward过程没问题,可能是梯度爆炸,所以用梯度裁剪试试
            nn.utils.clip_grad_norm(net.parameters(), max_norm=3, norm_type=2)

            optim.step()
            optim.zero_grad()

梯度剪裁:

        对超出值域范围的梯度进行约束,避免梯度持续大于1,造成梯度爆炸。(没办法规避梯度消失)

torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type) 
  • parameters参数是需要进行梯度裁剪的参数列表。通常是模型的参数列表,即model.parameters();
  • max_norm参数可以理解为梯度(默认是L2 范数)范数的最大阈值;
  • norm_type参数可以理解为指定范数的类型,比如norm_type=1 表示使用L1 范数,norm_type=2 表示使用L2 范数。
     

【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/m0_46412065/article/details/131396098?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170435889016800215059432%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=170435889016800215059432&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-131396098-null-null.142^v99^pc_search_result_base7&utm_term=%E6%A2%AF%E5%BA%A6%E5%89%AA%E8%A3%81&spm=1018.2226.3001.4187

你可能感兴趣的:(深度学习,深度学习,机器学习,人工智能)