跟李沐学AI-动手学深度学习-线性回归+基础优化算法

回归（ regression）是指⼀类为⼀个或多个⾃变量与因变量之间关系建模的⽅法。在⾃然科学和社会科学领域，回归经常⽤来表⽰输⼊和输出之间的关系。

在机器学习领域中的⼤多数任务通常都与预测（prediction）有关。当我们想预测⼀个数值时，就会涉及到 回归问题。常⻅的例⼦包括：预测价格（房屋、股票等）、预测住院时间（针对住院病⼈）、预测需求（零售 销量）等。但不是所有的预测都是回归问题。

目录

线性回归

eg：房价预测：一个简化模型

线性模型

衡量估计质量

 训练数据

参数学习

  显示解

总结

基础优化算法

梯度下降

选择学习率 

※小批量随机梯度下降

总结

---

线性回归

eg：房价预测：一个简化模型

假设1：影响房价的关键因素是卧室个数、卫生间个数和居住面积，记为x1,x2,x3。

假设2：成交价是关键因素的加权和。

y=w1x1+w2x2+w3x3。权重和偏差的实际值在后边决定。

线性模型

给定n维的输入 x=[x1,x2.....,xn]T。

线性模型有一个n维权重和一个标量偏差 w=[w1,w2......,wn]T，b。

输出是输入的加权和。y=w1x1+w2x2+.....+wnxn+b。

向量版本：y=<w,x>+b。

衡量估计质量

比较真实值和预估值，例如房屋售价和估价。

假设y是真实值，^y是估计值，可以比较

这个叫做平方损失。

 训练数据

收集一些数据点来决定参数值（权重和偏差），这被称为训练数据，通常是越多越好。

假设我们有n个样本，记

参数学习

训练损失

 

最小化损失来学习参数

  显示解

总结

• 线性回归是对n维输入的加权，外加偏差。
• 使用平方损失来衡量预测值和真实值的差异。
• 线性回归有显示解。
• 线性回归可以看作是单层神经网络。

基础优化算法

梯度下降

 挑选一个初始值w0。

重复迭代参数t=1,2,3.

 

 沿梯度方向将增加损失函数值。

学习率：步长的超参数。

选择学习率 

不能太小：走的太慢，计算代价太高。

也不能太大：容易导致震荡，找不到最小值。

※小批量随机梯度下降

在整个训练集上算梯度太贵了，一个深度神经网络模型可能需要数分钟至数小时。

可以随机采样b个样本i1,i2,....,ib来近似损失

 b是批量大小，是另一个重要的超参数。

同样，选取批量大小也是不能太小，也不能太大。

批量太小：每次计算量太小，不适合并行来最大利用计算资源。

批量太大：内存消耗增加，浪费计算。

总结

• 梯度下降通过不断沿着反梯度方向更新参数求解。
• 小批量随机梯度下降是深度学习默认的求解算法。
• 两个重要的超参数是批量大小和学习率。