线性回归一些基本术语

线性回归函数

形如$Y=X\ast weight+bias$式子的回归方程就叫线性回归，X一般用一个$n\ast m$的矩阵来表示，n表示有n个样本，m表示有m个特征，每一个样本对应的y标签是一个一维的值。

所以我们整个线性回归的任务就是算出weight和bias，也即下面说的params。

线性传播过程

线性传播过程分为 前向传播构造计算图；根据计算图计算梯度；根据优化函数更新参数；循环。

前向传播

前向传播包括两个过程，分别是

1. $\hat{y}=weigh{t}^T\ast x+bias$计算$\hat{y}$。
2. 根据损失函数计算损失。

损失函数

损失函数用于衡量线性回归参数估计的拟合程度，拟合的越好，损失函数值越低。我们由极大似然估计得到损失函数，近似于MSE，我们直接用MSE作为损失函数。

所以我们要算出weight和bias这个任务就等价于让损失函数最小。

优化函数

要解得损失函数的最小值可以使用解析解，但是对于深度的网络往往很难求得解析解，这个时候我们就需要用到优化函数。最常用的优化函数就是梯度下降算法（SGD - 随机梯度下降）：

$Params=Params-LearningRate\ast Gradient$

你会发现当Gradient等于0的时候，Params==Params，损失函数收敛，损失为最小值，且你求得了Params。

反向传播

你完全不需要了解链式法则和反向传播，你只需要知道反向传播已经被pytorch封装成了backward()方法，该方法实现了根据计算图自动计算梯度并存储，也就是上面优化函数中的公式里的Gradient。