pytorch训练 loss=inf或者训练过程中loss=Nan

造成 loss=inf的原因之一：data underflow

最近在测试Giou的测试效果，在mobilenetssd上面测试Giou loss相对smoothl1的效果；
改完后训练出现loss=inf

原因: 在使用log函数时出现 data underflow
解决方法：增加一个bias

原代码

    # match wh / prior wh
    g_wh = (matched[:, 2:] - matched[:, :2]) / priors[:, 2:]
    g_wh = torch.log(g_wh) / variances[1]
    # return target for smooth_l1_loss
    return torch.cat([g_cxcy, g_wh], 1)  # [num_priors,4]

修改后

    eps = 1e-5
    # match wh / prior wh
    g_wh = (matched[:, 2:] - matched[:, :2]) / priors[:, 2:]
    g_wh = torch.log(g_wh + eps) / variances[1]
    # return target for smooth_l1_loss
    return torch.cat([g_cxcy, g_wh], 1)  # [num_priors,4]

造成训练过程中loss=Nan

一、log函数与exp也是产生NaN的大户

当网络训练到达一定程度的时候，模型对分类的判断可能会产生0这样的数值，log(0)本身是没有问题的，-inf可以安全的参与绝大部分运算，除了(-inf * 0)，会产生NaN。NaN的话，一旦参与reduce运算会让结果完蛋的… 因此呢，如果有

y_truth * log(y_predict)      
# when y_truth[i] is 0, it is likely that y_predict[i] would be 0

这样的表达式，要考虑对log中的变量进行clip. 比如

safe_log = tf.clip_by_value(some_tensor, 1e-10, 1e100)
bin_tensor * tf.log(safe_log)

二、数据问题

这也是常见的原因；脏数据要筛选掉，手动筛选或者半自动，半自动就是把batchsize设为1，把数据增强关掉，并打印出问题数据;