Pytorch踩坑记录

1、

使用现有模型时，如resnet、vgg16时，进行改进后，如果只想训练自己改进后的参数，可以先将原来网络参数的requires_grad = False

net = resnet50(pretrained = True)
for param in net.parameters():
    param.requires_grad = False
#添加自己定义的层
net.fc = nn.Linear(net.fc.in_features, 100)
#在训练时，只需要在optizimer里面设定部分参数
optimizer = torch.optim.Adam(["params": net.fc.parameters()], lr = 0.01)
#这样就可以只训练自定义部分参数

 2、

如果想将两个模型训练的结果融合，更好的做法是在网络中直接实现，而不是放在主程序中实现

例如:

那可以创建一个融合的网络，使得在主程序中只有一个net.train()，一个net1.eval()

class Fusion1(nn.Module):
    def __init__(self):
        super(Fusion1, self).__init__()
        self.RGB_generator = FCN32s1()
        self.HHA_generator = FCN32s2()
        self.conv1x1 = nn.Conv2d(2, 1, 1)
    def forward(self, x):
        RGB, HHA = x
        RGB_attention = self.RGB_generator(RGB)
        HHA_attention = self.HHA_generator(HHA)
        co_attention = torch.cat((RGB_attention, HHA_attention), dim=1)
        out = self.conv1x1(co_attention)
        out = torch.sigmoid(out)
        return out

 这样在主程序就可以只写一个 Fusion1().train()

 

3、

在使用dataloder，并使用nn.MSELoss()时，要注意最后读取的数据只有一个的情况，此时nn.MSELoss（）的输入只有一维，会导致错误，详见https://github.com/wangsff/coattention_object_segmentation/blob/master/main.ipynb

文件中在计算loss时没有考虑，当读取只有一张图片的情况，会导致loss=0，从而出现

Element 0 of tensors does not require grad and does not have a grad_fn  的错误