《动手学深度学习Pytorch版》之Pytorch常用操作
未完待续。。。。。
GPU操作
二、模型保存读取操作
1、访问模块模型参数
model.parameters()
一个从参数名称隐射到参数Tesnor的字典对象
state_dict
举例1
import torch
from torch import nn
net = MLP() #这里我省略了MLP()的定义，详见《动手学习深度学习Pytorch》对应章节
net.state_dict()
输出1
class MLP(nn.Module):...
OrderedDict([('hidden.weight',
tensor([[-0.1291, -0.4541, -0.0159],
[-0.5555, -0.3319, 0.4285]])),
('hidden.bias', tensor([-0.3046, -0.0209])),
('output.weight', tensor([[-0.4204, 0.4508]])),
('output.bias', tensor([-0.5094]))])
举例2
optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
optimizer.state_dict()
输出2
optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)...
{'state': {},
'param_groups': [{'lr': 0.001,
'momentum': 0.9,
'dampening': 0,
'weight_decay': 0,
'nesterov': False,
'params': [0, 1, 2, 3]}]}
2、保存加载模型
1）仅保存和加载模型参数（state_dict）(推荐)
保存
torch.save(model.state_dict(), PATH) # 推荐的⽂件后缀名是pt或pth
加载
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
2）保存和加载整个模型
保存
torch.save(model, PATH)
加载
model = torch.load(PATH)
三、网络操作
1、named_children：获取一级子模块及其名字
# named_children获取一级子模块及其名字(named_modules会返回所有子模块,包括子模块的子模块)
for name, blk in net.named_children():
X = blk(X)
print(name, 'output shape: ', X.shape)
输出：
vgg_block_1 output shape: torch.Size([1, 64, 112, 112])
vgg_block_2 output shape: torch.Size([1, 128, 56, 56])
vgg_block_3 output shape: torch.Size([1, 256, 28, 28])
vgg_block_4 output shape: torch.Size([1, 512, 14, 14])
vgg_block_5 output shape: torch.Size([1, 512, 7, 7])
2、torch.cat((p1, p2, p3, p4), dim=1) # 在通道维上连结输出
详见GoogLeNet一节。
torch.cat是将两个张量（tensor）拼接在一起，cat是concatnate的意思，即拼接，联系在一起。
使用torch.cat((A,B),dim)时，除拼接维数dim数值可不同外其余维数数值需相同，方能对齐。
C = torch.cat( (A,B),0 ) #按维数0拼接（竖着拼）
C = torch.cat( (A,B),1 ) #按维数1拼接（横着拼）
3、Global average Pooling
这个概念出自于 network in network ，主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这些特征点组成最后的特征向量进行softmax中进行计算。
参考：https://blog.csdn.net/losteng/article/details/51520555
假如，最后的一层的数据是10个66的特征图，global average pooling是将每一张特征图计算所有像素点的均值，输出一个数据值，这样10 个特征图就会输出10个数据点，将这些数据点组成一个110的向量的话，就成为一个特征向量，就可以送入到softmax的分类中计算了。
GAP的工作原理：
深度学习基础系列（十）| Global Average Pooling是否可以替代全连接层？
假设卷积层的最后输出是h × w × d 的三维特征图，具体大小为6 × 6 × 3，经过GAP转换后，变成了大小为 1 × 1 × 3 的输出值，也就是每一层 h × w 会被平均化成一个值。
net.add_module("global_avg_pool", d2l.GlobalAvgPool2d()) # GlobalAvgPool2d的输出: (Batch, 512, 1, 1)
4、Flatten layer
Convolution卷积层之后是无法直接连接Dense全连接层的，需要把Convolution层的数据压平（Flatten），然后就可以直接加Dense层了。
也就是把 (height,width,channel)的数据压缩成长度为 height × width × channel 的一维数组，然后再与 FC层连接，这之后就跟普通的神经网络无异了。
可以从图中看到，随着网络的深入，我们的图像（严格来说中间的那些不能叫图像了，但是为了方便，还是这样说吧）越来越小，但是channels却越来越大了。在图中的表示就是长方体面对我们的面积越来越小，但是长度却越来越长了。
举例
X = torch.rand((1, 512, 1, 1))
Flatnet = d2l.FlattenLayer()
Flatnet(X).size()
输出
torch.Size([1, 512])