Pytorch学习笔记——tensor的各类操作及求梯度

创建tensor

torch.empty(),未初始化的Tensor
torch.rand(),随机初始化的Tensor(均匀分布)
torch.randn(),标准分布
torch.normal(),正态分布
torch.uniform(),均匀分布
torch.randperm(),随机排列
torch.zeros(),全零的Tensor
torch.ones(),全一的Tensor
torch.eye(),对角矩阵Tensor
torch.arange(),等差数列Tensor
torch.linspace(),等差数列Tensor
torch.tensor(),直接根据数据创建
torch.randn_like(),根据现有tensor的形状来创建

获取tensor的形状

x.size()
x.shape

对tensor的操作

  • 加法:z=x+y;
    torch.add(x,y,output=z)
    y.add_(x)
  • 索引:索引出来的结果与原数据共享内存,即修改一个,另一个也会跟着修改
    y=x[0,:]
    torch.index_select(x,dim=0,index=torch.tensor([0,1]))#选取第0行和第1行
    torch.masked_select(x,masked=)
    torch.non_zero(x)
    torch.gather(x,dim,index)
  • 改变形状:
    x.view()#view返回的新tensor与原tensor共享内存(其实是同一个tensor),也即改变其中一个,另外一个也会跟着改变(view仅仅是改变了对这个张量的观察角度)。
    x.clone().view()#先克隆一个,即创造一个副本再使用view。
    x.item() #将一个标量tensor(一维tensor)转换成一个python number
  • 线性代数:
    x.trace()#对角线元素之和
    x.diag()#对角线元素
    x.triu()/x.tril()#矩阵的上三角/下三角
    x.mm()#矩阵乘法
    x.bmm()#batch的矩阵乘法
    x.addmm()/x.addbmm()/x.addmv()/x.addr()/x.badbmm()#矩阵运算
    x.t#转置
    x.dot()/x.cross()#内积/外积
    x.inverse#求逆矩阵
    x.svd#奇异值分解

广播机制:

前面讲的加法和线性代数的函数都是对两个形状相同的tensor做按元素运算;当对两个形状不同的tensor按元素运算时,可能会触发广播机制:先适当复制元素,使两个tensor形状相同后再按元素运算。

运算中的内存问题:

索引和view是不会开辟新内存的;但是诸如y=x+y这样的运算会新开内存,然后将y指向新内存。这一点可以通过id函数得到验证。
如果想制定运算结果到原来的y内存,可以通过索引的方法实现:y[:] = y+x。还可以通过以下三种方法:

  • torch.add(x,y,out=y);
  • 2.y += x;
  • 3.y.add_(x)

tensor和numpy相互转换:

  • tensor转numpy: y = x.numpy()
    这种方法转换后,产生的numpy数组和tensor数组共享内存,改变其中一个时,另一个也会改变。
  • numpy转tensor: y = torch.from_numpy(x)
    这种方法转换后,产生的tensor数组和numpy数组共享内存,改变其中一个时,另一个也会改变。
    所有在CPU上的tensor都支持与numpy数组相互转换

另一种转换的方法是y = torch.tensor(x),该方法将numpy数组进行了数据拷贝,返回的tensor和原来的numpy数组不再共享内存。
tensor on GPU:用to()可以将tensor在CPU和GPU之间相互移动

自动求梯度:

在深度学习中,我们经常需要对函数求梯度,Pytorch提供的autograd包能够根据输入和前向传播过程自动构建计算图,并执行反向传播。

autograd: tensor是这个包的核心类,如果将其属性.requires_grad设置为True,它将开始追踪在其上的所有操作(这样就可以利用链式法则进行梯度传播了)。完成计算后,可以调用.backward()来完成所有梯度计算。此tensor的梯度将累积到.grad属性中。

如果不想要被继续追踪,可以调用.detach()将其从追踪记录中分离出来,这样就可以防止将来的计算被追踪,这样梯度就传不过去了。此外,还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来,这种方法在评估模型的时候很常用,因为在评估模型时,我们并不需要计算可训练参数(requires_grad=True)的梯度。

Function是另外一个很重要的类。tensor和function互相结合就可以构建一个记录有整个计算过程的有向无环图(DAG)。每个tensor都有一个.grad_fn属性,该属性就创建该tensor的function,其表征了tensor是否通过某些运算得到的,若是,则grad_fn返回一个与这些运算相关的对象,否则是None。不是通过运算得来的,而是直接创立的变量称为叶子节点,叶子节点对应的grad_fn是None: x.is_leaf #True

求梯度:

向量函数(运算出来的结果最终为一位数组,即向量)求导的结果是一个Jacobian矩阵;标量函数(运算出来的结果最终为一个数,即标量)求导的结果是一个与自变量同形的向量。在调用.backward()完成梯度计算时,如果最终求导的因变量是个标量,那么不需要为.backward传入任何参数;否则,需要传入一个与最终求导的因变量同形的张量tensor,这将会先对因变量进行加权求和变成标量,然后再进行.backward()。举个例子:假设tensor y由tensor x计算而来,那么进行求梯度计算时,需要定义一个权重tensor w,它和y同形,则y.backward(w)进行的就是:l = torch.sum(y*w), l.backward()。这样做可以使链式法则在进行矩阵乘法时,一直保持左乘矩阵和结果矩阵是一维的,保证了运算的可行性。

另一个需要注意的就是:tensor的.grad属性在反向传播过程中是累加的,这意味着每一次运行反向传播,梯度都会累加之前的梯度,所以一般在反向传播之前需要把梯度清零:x.grad.data.zero_()
此外,如果想要修改tensor的数值,但又不希望被autograd记录(即不会影响反向传播),那么可以对tensor.data进行操作。

你可能感兴趣的:(笔记,pytorch,学习,深度学习)