pytorch学习笔记 torchnn.ModuleList

1 nn.ModuleList原理

nn.ModuleList，它是一个储存不同 module，并自动将每个 module 的 parameters 添加到网络之中的容器。

你可以把任意 nn.Module 的子类 (比如 nn.Conv2d, nn.Linear 之类的) 加到这个 list 里面，方法和 Python 自带的 list 一样，无非是 extend，append 等操作。

但不同于一般的 list，加入到 nn.ModuleList 里面的 module 是会自动注册到整个网络上的，同时 module 的 parameters 也会自动添加到整个网络中。

若使用python的list，则会出问题。

import torch
class net_mod_lst(torch.nn.Module):
    def __init__(self):
        super(net_mod_lst,self).__init__()
        self.modlst=torch.nn.ModuleList([
            torch.nn.Conv2d(1,20,5),
            torch.nn.ReLU(),
            torch.nn.Conv2d(20,64,5)
        ])
        
    def forward(self,x):
        for m in self.modlst:
            x=m(x)
        return x
  
net_mod=net_mod_lst()
print(net_mod)
'''
net_mod_lst(
  (modlst): ModuleList(
    (0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))
    (1): ReLU()
    (2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))
  )
)

'''

2 nn.Sequential与nn.ModuleList的区别

2.1 不同点1

 

nn.Sequential内部实现了forward函数，因此可以不用写forward函数。而nn.ModuleList则没有实现内部forward函数。

 

但如果Sequential是在继承了nn.Module的类中的话，那也要forward函数了

import torch
class net_mod_lst(torch.nn.Module):
    def __init__(self):
        super(net_mod_lst,self).__init__()
        self.seq=torch.nn.Sequential(
            torch.nn.Conv2d(1,20,5),
            torch.nn.ReLU(),
            torch.nn.Conv2d(20,64,5)
        )
        
    def forward(self,x):
        x=self.seq(x)
        return x
  
net_mod=net_mod_lst()
print(net_mod)
'''
net_mod_lst(
  (seq): Sequential(
    (0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))
    (1): ReLU()
    (2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))
  )
)
'''

2.2 不同点2

nn.Sequential可以使用OrderedDict对每层进行命名

见pytorch 学习笔记：nn.Sequential构造神经网络_刘文巾的博客-CSDN博客

2.3 不同点3

nn.Sequential里面的模块按照顺序进行排列的，所以必须确保前一个模块的输出大小和下一个模块的输入大小是一致的。

而nn.ModuleList 并没有定义一个网络，它只是将不同的模块储存在一起，这些模块之间并没有什么先后顺序可言。