pytorch学习笔记（更新中）

pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/notes/autograd/

https://ptorch.com/docs/8/

一、动态图

https://blog.csdn.net/qjk19940101/article/details/79557866

二、变量

tensor的建立：

随机创立tensor：https://blog.csdn.net/dream161110/article/details/80293715 （rand，randn，normal，linespace的不同）

tensor的常规操作（包括建立和其他常用的）：https://blog.csdn.net/xholes/article/details/81667211

三、网络结构

建立网络的四种方式：https://www.cnblogs.com/denny402/p/7593301.html

查看网络参数model.state_dict()

ps：

lenet模型例子。 https://blog.csdn.net/u010510350/article/details/77745183

argparse用来设置和解析参数。https://blog.csdn.net/lgczym/article/details/76474350

epsilon为算梯度时每次定义的梯度增加值（猜梯度？），太小会导致误差。 https://blog.csdn.net/freeliao/article/details/17564819

sequential建立网络时的特点：https://ptorch.com/news/57.html

四、网络流程

1.定义网络

2.定义结构

3.定义loss

4.设置优化器

例子：（来自莫烦python）

import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

# torch.manual_seed(1)    # reproducible

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size())                 # noisy y data (tensor), shape=(100, 1)

# torch can only train on Variable, so convert them to Variable
# The code below is deprecated in Pytorch 0.4. Now, autograd directly supports tensors
# x, y = Variable(x), Variable(y)

# plt.scatter(x.data.numpy(), y.data.numpy())
# plt.show()


class Net(torch.nn.Module):
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(n_feature, n_hidden)   # hidden layer
        self.predict = torch.nn.Linear(n_hidden, n_output)   # output layer

    def forward(self, x):
        x = F.relu(self.hidden(x))      # activation function for hidden layer
        x = self.predict(x)             # linear output
        return x

net = Net(n_feature=1, n_hidden=10, n_output=1)     # define the network
print(net)  # net architecture
# SGD为随机梯度下降
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)
loss_func = torch.nn.MSELoss()  # this is for regression mean squared loss

plt.ion()   # something about plotting

for t in range(200):
    prediction = net(x)     # input x and predict based on x

    loss = loss_func(prediction, y)     # must be (1. nn output, 2. target)

    optimizer.zero_grad()   # clear gradients for next train
    loss.backward()         # backpropagation, compute gradients
    optimizer.step()        # apply gradients
    #梯度在backward后就可以调用step，optimizer在之前需要先清零。step为单次优化
    if t % 5 == 0:
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)

plt.ioff()
plt.show()

with torch.no_grad():  后面的代码不用反向传播

x.view(-1) 将tensor变成一维的（-1代表不确定）

五、细节问题

tensor相关函数的解析

https://www.jianshu.com/p/cf7adeff2a05

1.squeeze()和unsqueeze()函数，一个是增加维度，一个是减少维度

https://cloud.tencent.com/developer/article/1366479

2.detach()和detach_()，设置一个叶子节点，求导的终点

https://blog.csdn.net/u012436149/article/details/76714349

3. torch.linspace()

函数的作用是，返回一个一维的tensor（张量），这个张量包含了从start到end，分成steps个线段得到的向量。常用的几个变量

start：开始值

end：结束值

steps：分割的点数，默认是100

dtype：返回值（张量）的数据类型

https://blog.csdn.net/york1996/article/details/81671128

4. torch.sum()

将传入的整数代表的维度对应的数字相加减。

5. torch.argmax()

返回指定维度的最大元素的坐标

6. torch.clamp()

如超过最大值和最小值阀值，将其截断。numpy.clip作用类似

7. torch.cat()

合并多个tensor为一个tensor

8. tensor变量[range(number),...]

在range的维度中找后面list中一一对应的坐标（原来是tensor(n*m*p)，就是range(n),list(length is m),），可以在对应维度空着。

tensors used as indices must be long or byte tensors. 如果是tensor需要改成long，或者直接用list就行，需要注意不能越界

ps：

torch.stack(tensors，dim) 将tensor维度叠加：https://blog.csdn.net/Teeyohuang/article/details/80362756

BN层以及BN问题：

https://blog.csdn.net/qq_25737169/article/details/79048516

https://www.cnblogs.com/guoyaohua/p/8724433.html

别人的pytorch总结：http://www.cnblogs.com/king-lps/p/8570021.html

 

强化学习：（很全，查td误差时候找到的）

https://blog.csdn.net/LagrangeSK/article/details/81239518

DRL各种DRL的pytorch代码：https://cloud.tencent.com/developer/article/1366479  （用Chrome打开）

pytorch调整学习率的六种方法：https://blog.csdn.net/shanglianlm/article/details/85143614