【机器学习】线性回归（基于学习的方式）所用到的公式

线性回归

个人观点：我这里所说的线性回归不完全等同于数学上严格的线性回归，这里的线性回归更偏向于利用学习的手段进行回归。

1. 数据预处理

这个数据的预处理不仅仅用在线性回归模型上，也是其他机器学习乃至深度学习中常用的方法，其最重要的步骤是对数据进行normalization。

设输入的原始数据是$X_0$,经处理后的数据为$X$,则数据预处理的过程可以看作
$X=\frac{X_0-\mu }{\sigma }$

2. 误差项

我们可以认为真实值$Y$是预测模型$Linea{r}_{\theta }$对预处理数据$X$的预测结果$Linea{r}_{\theta }(X)$与误差$ϵ$的和，即
$Y=Linea{r}_{\theta }(X)+ϵ$
而
$Linea{r}_{\theta }(X)=\sum {\theta }_i{X}_i+b$
一般情况下我们认为误差$ϵ$在数据间是独立同分布的，并且应该服从正态分布$N(0,{\sigma }^2)$。所以正常情况下，为了避免因为数据本身的顺序对结果产生影响，使得数据之间保持独立性，往往在训练过程中要对数据进行随机打乱操作。
很容易的能够写出：

$P({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{-{ϵ}^{(i)2}}{2{\sigma }^2})$

我们为了求解参数$\theta$,所以将上面公式变形为

$P(y|x;\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{-(y-Linea{r}_{\theta }(X){)}^2}{2{\sigma }^2})$

由于这是一个基于学习的方法，所以需要每个数据尽可能适配这个模型，对于这里的每条数据，由于数据间是独立同分布的，那么这个模型的似然函数可以写成

$L(\theta )=\Pi (P(y^{(i)}|x^{(i)};\theta ))$

由于概率是小于1的数，并且样本数目过多，采用累乘的形式的目标函数会趋近于零，可能导致梯度消失，但是理论上来讲，似然函数和对数似然函数的单调性一样，所以这个地方我们可以采用对数似然函数作为目标函数

$lnL(\theta )=\frac{n}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum (y^{(i)}-Linea{r}_{\theta }(x^{(i)}){)}^2$

在线性回归任务中，我们希望似然函数越大越好，也就是对数似然函数越大越好，也就是使$J(\theta )=\sum (y^{(i)}-Linea{r}_{\theta }(x^{(i)}){)}^2$越小越好，因此我们可以使用$J(\theta )$作为目标函数进行优化。

利用学习的方法可以避免使用数学严格意义上的线性回归方法（$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$）的矩阵不可逆的问题，当然也可以采用正则化的方式来避免不可逆的问题