【pytorch API笔记6】网络中的参数管理

一、state_dict()

state_dict 可以获取网络的状态，也就是权重，可以看成_Module()

print(net.state_dict())

当打印某一层是时候，是一个以weight和bias为key的dict

二、访问具体的参数

print(net[0].bias.data)
print(net[0].bias.grad)
print(net[0].weight)

三、通过named_parameters来获取网络中的所有参数

torch的Module有一个成员函数named_parameters，可以获取网络的参数
返回的是name，param

print([(name, param.shape)for name, param in net.named_parameters()])  # 获取网络中的所有参数

四、内置初始化

先定义个初始化函数

def init_normal(m): # 定义一个初始化函数
    if (type(m) == nn.Linear):
        nn.init.normal_(m.weight, mean=0, std=0.01)
        nn.init.zeros_(m.bias)

然后利用Module内置apply()函数进行初始化

rgnet.apply(init_normal) # 利用apply对所有成员镜像初始化

还可以更暴力，直接将权重替换为自己想赋值的任意值，比如下加1

rgnet[0][0][0].bias.data[:] += 1
print(rgnet[0][0][0].bias.data[:])

五、在网络中共享权重

shared = nn.Linear(8, 8) # 先定义个层

net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1))
print(net[2].weight.data[0] == net[4].weight.data[0])  # 权重是相等的
net[2].weight.data[0, 0] = 100  # 修改第二层的weight的第一个权重值为100
print(net[2].weight.data[0] == net[4].weight.data[0])  # 修改后权重仍然是相等的