pytorch---parameters学习

(1)parameters()

import torch.nn as nn
net = nn.Sequential(nn.Linear(4,2),nn.Linear(2,2))
list(net.parameters())

输出如下
pytorch---parameters学习_第1张图片

list(net.parameters())[0].shape

torch.Size([2, 4])

list(net.parameters())[3].shape

torch.Size([2])
权重矩阵存在转置的情况

(2)named_parameters()

list(net.named_parameters())

pytorch---parameters学习_第2张图片

dict(net.named_parameters()).items()

pytorch---parameters学习_第3张图片

optimizer = optim.SGD(net.parameters(),lr=1e-3)

使用net.parameters()把所有的参数都传到优化器里

class BasicNet(nn.Module):
    def __init__(self):
        super(BasicNet,self).__init__()
        self.net = nn.Linear(4,3)
        
    def forward(self,x):
        return self.net(x)
    
class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.net = nn.Sequential(BasicNet(),
                                nn.ReLU(),
                                nn.Linear(3,2))
        
    def forward(self,x):
        return self.net(x)
 
net = Net()
list(net.named_parameters())

pytorch---parameters学习_第4张图片
nn.ReLU()没有参数

(3)一些学习文章
nn.Parameter()讲解
net.parameters()
nn.Sequential类详解

Containers
torch.nn的一些总结
nn.Modlue及nn.Linear 源码理解
Pytorch.nn.Linear 解析(数学角度)
self.modules() 和 self.children()的区别

你可能感兴趣的:(#,pytorch学习笔记,pytorch,nn.parameters,pytorch相关总结)