pytorch损失值nan或者model输出nan或者inf的相关问题

现象和原因分析

在能确定模型正常的情况下，可能是优化器没有设置正确，一定要加上weight decay的正则化项，和时间衰减的学习率；
也有可能是学习率太大，梯度爆炸

也可以添加权重初始化项。

optimizer = torch.optim.SGD(model.parameters(), lr=params.LR, weight_decay=0.00001)
lr_scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=params.LR_steps, gamma=params.Lr_mul)
# gamma是每次的乘以学习率的系数


for epoch in range(epochs):
	lr_scheduler.step() # 更新学习率
	for images,targets in train_loader:
	
		# 计算loss
		loss = clf_loss + distil_loss
	    optimizer.zero_grad()
	    loss.backward()
	    optimizer.step()