深度学习框架之pytorch
深度学习框架之pytorch
先来说说pytorch 和tensorflow的区别吧
PyTorch 很简洁、易于使用、支持动态计算图而且内存使用很高效,提供大量模块化组件，支持丰富的预训练模型。
PyTorch 上训练一个数据集，可以使用 GPU 来增强其训练过程，因为它们运行在 CUDA上。
PyTorch 开发使用 Visdom完成可视化，但是 Visdom 提供的功能很简单且有限。
PyTorch有两个核心模块：计算图的按需和动态构建Autograd：执行动态图的自动微分可以在下图中看到，图会随着执行过而
改变和执行节点，没有特殊的会话接口或占位符。
TensorFlow ，运行速度慢。TensorFlow 的可视化库名为 TensorBoard。在 TensorFlow 中运行代码时，计算图是以静态方式定义
的。与外部世界的通信是通过 tf.Sessionobject 和 tf.Placeholder 执行，它们是在运行时会被外部数据替换的张量。计算图
的核心优势是能实现并行化或依赖驱动式调度，这能让训练速度更快，更有效率。
pytorch的一些小结：
Tensor是Pytorch中的重要数据结构。函数名后面带_的函数会修改Tensor本身。Tensor不支持的操作可以转换为numpy再转换回来。
torchvsion中实现了常用的图像数据加载功能；Variable封装了Tensor,并提供了自动求导功能；nn为神经网络设计接口，提供了损
失函数，优化器等功能。
t.Tensor(*sizes)创建时不会马上分配空间，系统会计算剩余内存是否足够使用。支持自动广播法则，也可以手动广播。autograd
中的核心数据结构是variable，包含三个主要属性，data保存variable所包含的tensor属性，grad保存data对应的梯度，grad_fn记
录variable的操作历史。autograd底层采用计算图，一种特殊的有向无环图，根据链式求导法则计算梯度，计算图在每次前向传播
时都是从头开始构建，根据需求创建计算图。volatile属性为true的节点不会求导，反向传播的中间缓存会被清空，指定
retain_grapy=True来保存缓存。非叶子节点的梯度在计算完后被清空，使用autograd.grad或者hook技术获取叶子节点的梯度值。
variable默认是不需要求导的，需要将requires_grad设置为true。torch.nn的核心数据结构是Moudle
接下来记录一下用pytorch 实现训练的过程：
NO1.数据加载以及预处理
import torchvision as tv
import torchvision .transforms as transforms
from torchvision.transforms import ToPILImage
show =ToPILImage()
transform=transform.Compose([
transforms.ToTensor(),
transforms.Normalize()
])
NO2.训练与测试集加载
trainset=tv.datasets.C(root,train=True,download=True,transform=transform)
trainloader=t.utils.data.Data.Loader(trainset,batch_size=4,shuffle=True)
testset=tv.datasets.C(root,train=False,download=True,transform=transform)
testloader=t.utils.data.Data.Loader(testset,batch_size=4,shuffle=False)
No3.定义网络
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Moudle):
def __init__(self):
super(net,self).__init__()
self.conv1=nn.Conv2d(3,6,5)
self.fc1 =nn.Linear(16*5*5,120)
def forward(self,x)
x=F.max_pool2d(F.relu())
x=F.relu(self.fc1(x))
return x
net=Net()
printf(net)
NO4.定义损失函数和优化器
from torch import optim
criterion=nn.CrossEntropyLoss()
optimizer=optim.SGD(net.parameters)
NO5.训练网络
for epoch in range(2)
running_loss=0.0
for i, data in enumerate(trainloader,o)
inputs,labels=data
inputs,labels=Variable(inputs),Variable(labels)
optimizer.zero_grad()
outputs=net(inputs)
loss=criterion=(outputs,labels)
loss.backward()
optimizer.step() //更新参数
running_loss+=loss.data[0]
if i%2000==1999:
printf('[%d,%5s] loss:%.3f'\%(epoch+1,i+1,running_loss/2000))
running_loss=0.0
https://blog.csdn.net/vicky_white/article/details/107470700 深度学习的框架之keras