02.PyTorch张量
0.引言
实现目标：使用PyTorch 张量(tensor)来手动实现前向传播，损失(loss)和反向传播。这里我们准备一个三阶多项式，通过最小化平方欧几里得距离来训练，并预测函数 y = sin(x) 在-pi到pi上的值。
numpy 数组和 PyTorch 张量之间的最大区别在于，PyTorch 张量可以在 CPU 或 GPU 上运行。如果要在 GPU 上运行，只需将张量转换为 cuda 数据类型。
1.tensor运行模式的选择
import torch
import math
dtype = torch.float
device = torch.device("cpu")
# device = torch.device("cuda:0") # 在GPU运行的写法如果想在cpu运行按照上述代码定义即可，如果想在GPU上运行，需要配置好cuda，按照注释的写法去定义device。
2.造数据环节
创造一些我们训练用的数据，我们需要的是：y = sin(x) 在-pi到pi上的值。所以：
x = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)
y = torch.sin(x)3.随机初始化权重
a = torch.randn((), device=device, dtype=dtype)
b = torch.randn((), device=device, dtype=dtype)
c = torch.randn((), device=device, dtype=dtype)
d = torch.randn((), device=device, dtype=dtype)4.训练过程
learning_rate = 1e-6
for t in range(2000):
# 正向传递：计算预测y
y_pred = a + b * x + c * x ** 2 + d * x ** 3
# 计算输出loss
loss = (y_pred - y).pow(2).sum().item()
if t % 100 == 99:
print(t, loss)
# 反向传播计算a,b,c,d的梯度损失
grad_y_pred = 2.0 * (y_pred - y)
grad_a = grad_y_pred.sum()
grad_b = (grad_y_pred * x).sum()
grad_c = (grad_y_pred * x ** 2).sum()
grad_d = (grad_y_pred * x ** 3).sum()
# 使用梯度下降更新权重
a -= learning_rate * grad_a
b -= learning_rate * grad_b
c -= learning_rate * grad_c
d -= learning_rate * grad_d
我们在上一步随机初始化了a,b,c,d四个权重，在训练过程中，预测值y_pred是由a+bx+cx^2+dx^3组成的，那么在最开始由于a,b,c,d是随机的，y_pred和真实的y相差可能很大，但是这个不要紧，先使用loss记录一下就可以了。
接下来我们要计算一下每次训练a,b,c,d的梯度损失，grad_y_pred是将真实值和预测值相差乘2，扩大损失（这里可以理解为一种加速训练的方法）。用于反向传播的值，就是将grad_y_pred与原式各部分相乘并求和，例如首项a是常数项，则直接对a求和，第二项是x，则求grad_y_pred乘x的和，反向传播的表示方法有很多，这只是其中一种情况，稍作了解即可。
通过用原来（a,b,c,d）的值 - 学习率与计算好的grad_a\b\c\d相乘，不断更新权重，达到预测值不断贴近真实值的效果。
5.查看一下a,b,c,d更新到最后的值
print(f'Result: y = {a.item()} + {b.item()} x + {c.item()} x^2 + {d.item()} x^3')