pytorch60分钟入门教程

https://ptorch.com/docs/3/

一、torch中常用两个包
pytorch搭建神经网络的时候，有两个最常用的包：torch.nn和torch.optim。

• torch.nn

torch.nn包中主要包含了用来搭建各个层的模块（Modules），比如全连接、二维卷积、池化等；torch.nn包中还包含了一系列有用的loss函数，这些函数也是在训练神经网络时必不可少的，比如CrossEntropyLoss、MSELoss等；另外，torch.nn.functional子包中包含了常用的激活函数，如relu、leaky_relu、prelu、sigmoid等。

• torch.optim

torch.optim包则主要包含了用来更新参数的优化算法，比如SGD、AdaGrad、RMSProp、 Adam等。

使用torch.nn包定义网络有两种常用的方法，一种是继承nn.Module类的方式，这种方式能够实现网络结构的自定义，尤其是当需要实现共享参数时，我们可以简单地在forward函数中重复使用同一个定义在__init__函数中的层；另外一种是使用torch.nn.Sequential进行定义，这种定义方法相对于第一种更加方便快捷就像在TensorFlow中定义网络一样。