Pytorch学习（十九）--- 模型中buffer的使用

总说

我们知道，pytorch一般情况下，是将网络中的参数保存成OrderedDict形式的。这里额参数其实包括2种。一种是模型中各种 module含的参数，即nn.Parameter，我们当然可以在网络中定义其他的nn.Parameter参数。；另外一种是buffer。前者每次optim.step会得到更新，而不会更新后者。

例子

class myModel(nn.Module):
    def __init__(self, kernel_size=3):
        super(Depth_guided1, self).__init__()
        self.kernel_size = kernel_size
        self.back_end = torch.nn.Sequential(
            torch.nn.Conv2d(3, 32, 3, padding=1),
            torch.nn.ReLU(True),
            torch.nn.Conv2d(3, 64, 3, padding=1),
            torch.nn.ReLU(True),
            torch.nn.Conv2d(64, 3, 3, padding=1),
            torch.nn.ReLU(True),
        )

        mybuffer = np.arange(1,10,1)
        self.mybuffer_tmp = np.randn((len(mybuffer), 1, 1, 10), dtype='float32')
        self.mybuffer_tmp = torch.from_numpy(self.mybuffer_tmp)
        # register preset variables as buffer
        # So that, in testing , we can use buffer variables.
        self.register_buffer('mybuffer', self.mybuffer_tmp)

        # Learnable weights
        self.conv_weights = nn.Parameter(torch.FloatTensor(64, 10).normal_(mean=0, std=0.01))
        # Other code
        def forward(self):
            ...
            # 这里使用 self.mybuffer!

知识点：
I. 定义Parameter和buffer都只需要传入 Tensor即可。也不需要将其转成gpu。这是因为，当网络进行 .cuda()时候，会自动将里面的层的参数，buffer等转换成相应的GPU上。

II. self.register_buffer可以将tensor注册成buffer，在forward中使用self.mybuffer, 而不是self.mybuffer_tmp.

III. 网络存储时也会将buffer存下，当网络load模型时，会将存储的模型的buffer也进行赋值。

IV. buffer的更新在forward中，optim.step只能更新nn.Parameter类型的参数。