pytorch入门2 variable 变量

autograd 模块实现了反向传播求导数，自动提供微分。
可以调用variable的。backward实现反向传播，自动计算所有梯度。

variable的属性

有三个属性：
1.data ：保存variable包含的tensor
2.grad ：保存data对应的梯度（也是variable）
3.grad_fn：指向一个function对象用来反向传播计算输入的梯度

建立

注意：requires_grad是参不参与误差反向传播, 要不要计算梯度

import torch as t
from torch.autograd import Variable
#第一种
x=Variable(t.ones(2,2),requires_grad=True)
#第二种
tensorr=t.FloatTensor([1,2],[3,4])
y=Variable(tensorr,requires_grad=True)

计算，梯度

# 先生鸡蛋
tensor = t.FloatTensor([[1,2],[3,4]])
# 把鸡蛋放到篮子里, requires_grad是参不参与误差反向传播, 要不要计算梯度
variable = Variable(tensor, requires_grad=True)
t_out = t.mean(tensor*tensor)       # x^2
v_out = t.mean(variable*variable)   # x^2
print(t_out)
print(v_out)    # 7.5!

但是时刻记住, Variable 计算时, 它在背景幕布后面一步步默默地搭建着一个庞大的系统, 叫做计算图, computational graph. 这个图是用来干嘛的? 原来是将所有的计算步骤 (节点) 都连接起来, 最后进行误差反向传递的时候, 一次性将所有 variable 里面的修改幅度 (梯度) 都计算出来, 而 tensor 就没有这个能力啦.

#求和,y是一个variable
x=Variable(t.ones(2,2),requires_grad=True)
y=x.sum()
#梯度
##反向传播  【1/4 * sum(variable*variable)】，计算梯度【d(v_out)/d(variable) = 1/4*2*variable = variable/2】
y.backward()
print(x.grad)

特别注意：反向传播是累加的，所以要先清零

x.grad.data.zero_()

接口一致

t.cos(x)和t.cos(x.data)是一样的