1.线性回归
线性回归输出是⼀个连续值，因此适⽤用于回归问题。
基本要素
①模型定义
②模型训练
(1)训练数据：在机器器学习术语⾥里里，该数据集 被称为训练数据集(training data set)或训练集(training set)，⼀一栋房屋被称为⼀一个样本 (sample)，其真实售出价格叫作标签(label)，⽤用来预测标签的两个因素叫作特征(feature)。 特征⽤用来表征样本的特点。
(2)损失函数：平方损失
(3)优化算法：小批量量随机梯度下降(mini-batch stochastic gradient descent)在深度 学习中被广泛使用。它的算法很简单:先选取一组模型参数的初始值，如随机选取;接下来对参数进⾏行行 多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样⼀个由固定数⽬目训练 数据样本所组成的⼩小批量量(mini-batch) ，然后求⼩批量中数据样本的平均损失有关模型参数的导数 (梯度)，最后⽤用此结果与预先设定的⼀个正数的乘积作为模型参数在本次迭代的减⼩量。
③模型预测：模型训练完成后，我们将模型参数 在优化算法停⽌止时的值分别记作 。注意，这⾥里里 我们得到的并不一定是最⼩化损失函数的最优解 ，而是对最优解的⼀个近似。
pytorch实现：
1.生成数据集
import torch
from torch import nn
import numpy as np
torch.manual_seed(1)
print(torch.__version__)
torch.set_default_tensor_type('torch.FloatTensor’)
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.tensor(np.random.normal(0, 1, (num_examples, num_inputs)), dtype=torch.float)
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)
其中features是训练数据特征，labels是标签。：
2.读取数据：PyTorch提供了 data包来读取数据。由于data常用作变量名，我们将导入的data模块⽤用Data代替。在每⼀次迭代中，我们将随机读取包含10个数据样本的⼩批量。
import torch.utils.data as Data
batch_size = 10
# 将训练数据的特征和标签组合
dataset = Data.TensorDataset(features, labels)
# 随机读取⼩批量
data_iter = Data.DataLoader(
dataset=dataset, # torch TensorDataset format
batch_size=batch_size, # mini batch size
shuffle=True, # whether shuffle the data or not
num_workers=2, # read data in multithreading
)
#读取并打印第⼀个⼩批量数据样本
for X, y in data_iter:
print(X, '\n', y)
break
3.定义模型：⾸先，导⼊ torch.nn 模块。实际上，“nn”是neural networks（神经⽹络）的缩写。顾名思义，该模 块定义了⼤量神经⽹络的层。 之前我们已经⽤过了 autograd ， ⽽ nn 就是利⽤ autograd 来定义模 型。 nn 的核⼼数据结构是 Module ，它是⼀个抽象概念，既可以表示神经⽹络中的某个层（layer）， 也可以表示⼀个包含很多层的神经⽹络。在实际使⽤中，最常⻅见的做法是继承 nn.Module ，撰写⾃⼰ 的⽹络/层。⼀个 nn.Module 实例应该包含⼀些层以及返回输出的前向传播（forward）⽅法。下⾯先 来看看如何⽤ nn.Module 实现⼀个线性回归模型。
class LinearNet(nn.Module):
def __init__(self, n_feature):
super(LinearNet, self).__init__()
self.linear = nn.Linear(n_feature, 1)
# forward 定义前向传播
def forward(self, x):
y = self.linear(x)
return y
net = LinearNet(num_inputs)
print(net) # 使⽤print可以打印出⽹络的结构
可以⽤ nn.Sequential 来更加⽅便地搭建⽹络， Sequential是⼀个有序的容器，⽹络层将按照在传⼊ Sequential 的顺序依次被添加到计算图中。
# ways to init a multilayer network
# method one
net = nn.Sequential(
nn.Linear(num_inputs, 1)
# other layers can be added here
)
# method two
net = nn.Sequential()
net.add_module('linear', nn.Linear(num_inputs, 1))
# net.add_module ......
# method three
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
('linear', nn.Linear(num_inputs, 1))
# ......
]))
print(net)
print(net[0])
可以通过net.parameters()来查看模型所有的可学习参数，此函数将返回⼀个⽣成器。
for param in net.par
print(param)
注意： torch.nn 仅⽀持输⼊⼀个batch的样本不⽀持单个样本输⼊， 如果只有单个样本， 可使 ⽤ input.unsqueeze(0) 来添加⼀维。
4.初始化
使⽤ net 前，我们需要初始化模型参数，如线性回归模型中的权重和偏差。PyTorch在 init 模块中 提供了多种参数初始化⽅法。这⾥的 init 是 initializer 的缩写形式。我们通过 init.normal_ 将权重参数每个元素初始化为随机采样于均值为0、标准差为0.01的正态分布。偏差会初始化为零。
from torch.nn import init
init.normal_(net[0].weight, mean=0.0, std=0.01)
init.constant_(net[0].bias, val=0.0) # 也可以直接修改bias的data: net[0].bias.data.fill_(0)
5.损失函数
PyTorch在nn模块中提供了各种损失函数，这些损失函数可看作是⼀种特殊的层，PyTorch也将这些损失函数 nn.Module 的⼦类。我们现在使⽤它提供的均⽅误差损失作为模型的损失函数。
loss = nn.MSELoss()
6.优化算法
⽆须⾃⼰实现⼩批量随机梯度下降算法。 torch.optim 模块提供了很多常⽤的优化算法 ⽐如SGD、Adam和RMSProp等。下⾯我们创建⼀个⽤于优化 net 所有参数的优化器实例，并指定学 习率为0.03的⼩批量随机梯度下降（SGD）为优化算法。
import torch.optim as optim
optimizer = optim.SGD(net.parameters(), lr=0.03) # built-in random gradient descent function
print(optimizer) # function prototype: `torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)`
7.训练
num_epochs = 3
for epoch in range(1, num_epochs + 1):
for X, y in data_iter:
output = net(X)
l = loss(output, y.view(-1, 1))
optimizer.zero_grad() # reset gradient, equal to net.zero_grad()
l.backward()
optimizer.step()
print('epoch %d, loss: %f' % (epoch, l.item()))