深度学习3.3 线性回归的简洁实现
| 步骤 | 操作 | 作用 |
|---|---|---|
| 前向计算 | net(X) | 计算预测值 y_hat = Xw + b |
| 损失计算 | loss(y_hat, y) | 量化预测误差，驱动参数更新 |
| 反向传播 | l.backward() | 计算参数梯度 |
| 参数更新 | trainer.step() | 根据梯度调整参数，逼近最优解 |
| 梯度清零 | trainer.zero_grad() | 防止梯度累积（必须放在 backward() 之后，step() 之前） |
| 训练监控 | loss(net(features), labels) | 评估模型整体性能，避免过拟合或欠拟合 |
3.3.1 生成数据集
import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l
true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
3.3.2 读取数据集
def load_array(data_arrays, batch_size, is_train=True):
dataset = data.TensorDataset(*data_arrays)
return data.DataLoader(dataset, batch_size, shuffle=is_train)
batch_size = 10
data_iter = load_array((features, labels), batch_size)
next(iter(data_iter))
数据加载器 (DataLoader)
数据集封装：TensorDataset 将特征和标签包装为 PyTorch 数据集。
批量加载：DataLoader 按 batch_size=10 加载数据，训练时打乱数据 (shuffle=True)。
3.3.3 定义模型
from torch import nn
net = nn.Sequential(nn.Linear(2, 1))
3.3.4 初始化模型参数
net[0].weight.data.normal_(0, 0.01) # 权重初始化
net[0].bias.data.fill_(0) # 偏置初始化
3.3.5 定义损失函数
loss = nn.MSELoss() # 均方误差损失
3.3.6 定义优化算法
trainer = torch.optim.SGD(net.parameters(), lr=0.03) # 随机梯度下降
3.3.7 训练
num_epochs = 3
for epoch in range(num_epochs):
for X, y in data_iter:
l = loss(net(X), y) # 前向计算损失
trainer.zero_grad() # 清零梯度
l.backward() # 反向传播
trainer.step() # 参数更新
# 计算并输出整个训练集的损失
l = loss(net(features), labels)
print(f'epoch{epoch + 1}, loss{l:f}')
epoch1, loss0.000205
epoch2, loss0.000094
epoch3, loss0.000094
# 输出参数估计误差
w = net[0].weight.data
print(f'w的估计误差：{true_w - w.reshape(true_w.shape)}')
b = net[0].bias.data
print(f'b的估计误差：{true_b - b}')
w的估计误差：tensor([5.9402e-04, 4.6015e-05])
b的估计误差：tensor([0.0001])