线性回归

基本形式

线性模型试图学的一个通过属性的线性组合来进行预测的函数，函数形式为：
$$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
向量表示
$$f(x)=w^{T}x+b$$
我们的目标是学习得到$w$和$b$，这样模型就确定了。
这里有一个小技巧，我们令$x_0=1$这样，模型就可以进行简化、统一为
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\theta }^{T}x$$
${\theta }_0$为截距，在sklearn中为intercept_

Cost function

定义

线性回归的损失函数有很多种形式，但都可以称为最小二乘法。最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。 （最小二乘法）
下面以sklearn的线性回归为例：

普通最小二乘法（RSS）

$$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$

岭回归（Ridge）

使用了L2正则
$$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\alpha \sum _{j=0}^n{\theta }_j^2$$

Lasso

使用了L1正则
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\alpha \sum _{j=0}^n|{\theta }_j|$$

弹性网络

结合了L1和L2
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\alpha \rho \sum _{j=0}^n|{\theta }_j|+\frac{\alpha (1-\rho )}{2}\sum _{j=0}^n{\theta }_j^2$$

由来（概率解释）

假设目标变量和输入值存在如下等量关系
$$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$$
其中${ϵ}^{(i)}$是误差项。假设${ϵ}^{(i)}$是独立的且符合高斯分布${ϵ}^{(i)}\sim N(0,{\sigma }^2)$
故
$$\begin{gathered} p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2}) \\ p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}) \end{gathered}$$
使用最大似然估计（MLE）
$$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$$
取对数
$$\begin{gathered} logL(\theta )=log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2}) \\ logL(\theta )=\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{{\sigma }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2 \end{gathered}$$
第一项为常数项，要使$logL(\theta )$最大，所以要第二项尽可能的小，所以要使
$$\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$
尽可能的小

求解

有了Cost Function之后，我们就需要对目标函数进行求解

普通最小二乘法

正规方程

以西瓜书的推导为范本 P55 3.11

梯度下降

这里以吴恩达的为范本，吴恩达的损失函数为 $J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
梯度下降就是从某一个 $\theta$ 的初始值开始，然后逐渐重复更新
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
其中

批量梯度下降(Batch Gradient Descent)

优点：得到全局最优解
缺点：当样本数目很多时，训练过程会很慢

随机梯度下降(Stochastic Gradient Descent)

也叫作增量梯度下降法（incremental gradient descent）

随机梯度下降法，其实和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本j来求梯度。
随机梯度下降法，和批量梯度下降法是两个极端，一个采用所有数据来梯度下降，一个用一个样本来梯度下降。
对于训练速度来说，随机梯度下降法由于每次仅仅采用一个样本来迭代，训练速度很快，而批量梯度下降法在样本量很大的时候，训练速度不能让人满意。
对于准确度来说，随机梯度下降法用于仅仅用一个样本决定梯度方向，导致解很有可能不是最优。对于收敛速度来说，由于随机梯度下降法一次迭代一个样本，导致迭代方向变化很大，不能很快的收敛到局部最优解。
优点：训练速度快
缺点：准确度下降，可能跳出最优解，不是全局最优

小批量梯度下降法（Mini-batch Gradient Descent）

SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来很多噪声，使得SGD并不是每次迭代都向着整体最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段时间后就会变得很慢。
小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，每次取一定数量的样本进行迭代更新。

岭回归

岭回归加入的L2正则可以避免正规方程中存在不可逆的问题

正规方程

损失函数的向量写法为
$$l=(y-Xw{)}^T(y-Xw)+\lambda w^{T}w$$
最终
$$w=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$
一定是一个可逆矩阵

Lasso

由于L1不可导，所以不能使用正规方程，梯度下降等。sklearn中的Lasso使用的是坐标下降求解的
https://www.cnblogs.com/pinard/p/6018889.html

附录

各种误差

MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared

参考

https://yezuolin.com/2018/10/Machine-Learning(Linear-Regression)/
https://blog.csdn.net/Datawhale/article/details/82931967