pytorch复现loss遇到的问题

复现交叉熵

首先定义了函数对照公式实现了交叉熵的功能

def CrossEntropy(inputs, targets):
        return np.sum(np.nan_to_num(-targets*(np.log(inputs)))

运用到项目代码中出现了detach()问题,且因为类型非variable 无法更新梯度,无法backward

由于我的项目代码使用的torch框架,内部数据类型全是tensor,而用了numpy之后的数据类型全部变成了array,遂将numpy的函数全替换为torch的函数,即可针对tensor运算

且新的变量自动全是variable类型,可顺利反向传播

实现好后运行结果出现大量的nan,无法正常运算,使用clamp限制loss计算值的范围

class CrossEntropy(nn.Module):
    def __init__(self):
        super(CrossEntropy, self).__init__()
        
    def forward(self, inputs, targets):
        ## torch中要想实现backward就不能使用np,不能用array,只能使用tensor,只有tensor才有requires_grad参数
        loss1=-targets*(torch.log(inputs)).cuda()
        loss=torch.sum(loss1.clamp(min=0.0001,max=1.0))

你可能感兴趣的:(图像处理基础)