Torchvision模型修改

使用torchvision.models加载的模型默认使用的是BatchNorm,当需要在分布式机器上训练时,我们需要将BatchNorm转换成SyncBatchNorm,可以使用:
backbone = models.resnet18(pretrained=True, norm_layer=nn.SyncBatchNorm)

你可能感兴趣的:(VOS,pytorch,python,自然语言处理)