深度学习1--线性回归

去看【原文】

线性回归的基本要素

模型

为了简单起见，假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。线性回归假设输出与各个输入之间是线性关系:

price = w_area * area + w_age * age + b

数据集

我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。

损失函数

在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为 i 的样本误差的表达式为

优化函数 - 随机梯度下降

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。

总结一下，优化函数的有以下两个步骤：
(i)初始化模型参数，一般来说使用随机初始化；
(ii)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。

实现

import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random

def generateData():
	# set input feature number 
	num_inputs = 2
	# set example number
	num_examples = 1000

	# set true weight and bias in order to generate corresponded label
	true_w = [2, -3.4]
	true_b = 4.2

	features = torch.randn(num_examples, num_inputs,
	                      dtype=torch.float32)
	labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
	labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),
	                       dtype=torch.float32)
	return features, labels

# 按批次读取数据
def read_data_batch(batch_size, features, labels):
	num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)  # random read 10 samples
    for i in range(0, num_examples, batch_size):
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # the last time may be not enough for a whole batch
        yield  features.index_select(0, j), labels.index_select(0, j)

# 初始化参数，一般是随机生成
def init_parameters():
	w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)), dtype=torch.float32)
	b = torch.zeros(1, dtype=torch.float32)

	w.requires_grad_(requires_grad=True)
	b.requires_grad_(requires_grad=True)
	return w, b

# 模型: 线性模型
def model(X, w, b):
    return torch.mm(X, w) + b

# 损失函数
def squared_loss(y_hat, y): 
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

# 优化函数-梯度下降
def sgd(params, lr, batch_size): 
    for param in params:
        param.data -= lr * param.grad / batch_size

def main():
	# super parameters init
	lr = 0.03 # 学习的步长的大小
	num_epochs = 5 # 训练重复次数
	batch_size = 10 # 批量大小

	net = model
	loss = squared_loss

	# training
	for epoch in range(num_epochs):  # training repeats num_epochs times
	    # in each epoch, all the samples in dataset will be used once
	    
	    # X is the feature and y is the label of a batch sample
	    for X, y in read_data_batch(batch_size, features, labels):
	        l = loss(net(X, w, b), y).sum()  
	        # calculate the gradient of batch sample loss 
	        l.backward() # 后向传播计算梯度 
	        # using small batch random gradient descent to iter model parameters
	        sgd([w, b], lr, batch_size)  
	        # reset parameter gradient
	        w.grad.data.zero_() # 梯度清零
	        b.grad.data.zero_()
	    train_l = loss(net(features, w, b), labels)
	    print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))

if __name__ == '__main__':
	main()

去看【原文】

原文有源码，更多内容，请关注“地学分析与算法”。