【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法

线性回归

线性回归是单层的神经网络模型
通过平方损失来衡量预测质量,1/2便于求导
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法_第1张图片
训练损失:加均值
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法_第2张图片

基础优化算法

梯度下降

梯度是上升最快的方向,负梯度即为下降最快的方向。因为该函数表示训练损失,所以要找下降最快的方向来更新参数
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法_第3张图片
学习率即为每次的步长
学习率太小,步数多,计算梯度的次数多,太贵;而且陷入局部最优解
学习率太大,容易在最优解附近振荡
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法_第4张图片

小批量随机梯度下降

抽样。通过计算b个样本的平均损失,代替总体然后进行优化,从而可在短时间内多迭代几次
【李沐-动手深度学习v2】笔记整理-08线性回归+基础优化算法_第5张图片
批量大小的选择
批量太小:每次计算量太小,不适合并行来最大利用计算资源
批量太大:内存消耗增加;浪费计算,例如如果所有样本都是相同的

梯度下降通过不断沿着反梯度方向更新参数求解
小批量随机梯度下降是深度学习默认的求解方法
两个重要的超参数是:批量大小和学习率

线性回归的从零开始实现

不使用任何框架。
包括数据流水线、模型、损失函数、小批量随机梯度下降优化器

线性回归的简洁实现

使用框架,调用API

QA互动

你可能感兴趣的:(李沐-动手深度学习笔记整理,深度学习,算法,线性回归)