Pytorch学习之一：PyTorch基础概念

1.1什么是Pytorch
PyTorch 是一个以Python 优先的深度学习框架，不仅能够实现强大的GPU 加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow 等都不支持的。

PyTorch 既可以看做加入了GPU 支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络，除了Facebook 之外，它还已经被Twitter、CMU 和Salesforce 等机构采用。

1.2为什么选择Pytroch
面对如此多的深度学习框架，我们为何要选择PyTorch 呢？Tensorflow 不是深度学习框架默认的老大吗，为什么不直接选择Tensorflow 而是要选择PyTorch 呢？下面分4个方面来介绍为何要使用PyTorch。

掌握一个框架并不能一劳永逸，现在深度学习并没有谁拥有绝对的垄断地位，就算是Google 也没有，所以只学习Tensorflow 并不够。同时现在的研究者使用各个框架的都有，如果你要去看他们实现的代码，至少也需要了解他们使用的框架，所以多学一个框架，以备不时之需。
Tensorflow 与Caffe 都是命令式的编程语言，而且是静态的，首先必须构建一个神经网络，然后一次又一次使用同样的结构，如果想要改变网络的结构，就必须从头开始。但是对于PyTorch，通过一种反向自动求导的技术，可以让你零延迟地任意改变神经网络的行为，尽管这项技术不是PyTorch 独有，但目前为止它实现是最快的，能够为你任何疯狂想法的实现获得最高的速度和最佳的灵活性，这也是PyTorch 对比Tensorflow 最大的优势。
PyTorch 的设计思路是线性、直观且易于使用的，当你执行一行代码时，它会忠实地执行，并没有异步的世界观，所以当你的代码出现Bug 的时候，可以通过这些信息轻松快捷地找到出错的代码，不会让你在Debug 的时候因为错误的指向或者异步和不透明的引擎浪费太多的时间。
PyTorch 的代码相对于Tensorflow 而言，更加简洁直观，同时对于Tensorflow高度工业化的很难看懂的底层代码，PyTorch 的源代码就要友好得多，更容易看懂。深入API，理解PyTorch 底层肯定是一件令人高兴的事。一个底层架构能够看懂的框架，你对其的理解会更深。
PyTorch 的特点：

支持GPU；
动态神经网络；
Python 优先；
命令式体验；
轻松扩展。
2.配置Python环境

1.安装anaconda

2.配置显卡驱动

3.安装CUDA

4.安装CUDNN

具体可以网上比较多教程，可以搜索下

3.Pytroch的安装

可以参考这篇，写的很详细

https://blog.csdn.net/sunqiande88/article/details/80085569
​
blog.csdn.net
4.PyTorch基础概念

在网上找了一段代码，时间不够了暂时还没跑：

通过神经网络完成一个回归问题。其中样本数为64个，输入层为1000维，隐藏层为100，输出层为10维。

num_samples = 64 # N
dim_in, dim_hid, dim_out = 1000, 100, 10 # IN H OUT
x = torch.randn(num_samples, dim_in) # N * IN
y = torch.randn(num_samples, dim_out) # N * OUT

提前定义模型

model = torch.nn.Sequential(
torch.nn.Linear(dim_in, dim_hid, bias = False), #model[0]
torch.nn.ReLU(),
torch.nn.Linear(dim_hid, dim_out, bias = False),#model[2]
)

torch.nn.init.normal_(model[0].weight) #修改一

torch.nn.init.normal_(model[2].weight)

#提前定义loss函数和优化函数
loss_fun = torch.nn.MSELoss(reduction=‘sum’)
eta = 1e-4 #修改二
optimizer = torch.optim.Adam(model.parameters(), lr=eta)

for i in range(1000):
#Forward pass
y_pred = model(x)

#Loss
loss = loss_fun(y_pred, y)
print(it, loss.item())

optimizer.zero_grad()

Backward pass

loss.backward()

update model parameters

optimizer.step()

（来自 https://zhuanlan.zhihu.com/p/61590911）