线性回归公式推导

推导线性回归

线性回归问题就是利用一个线性的方程对已有的数据点进行拟合，目的是当拟合成功后，给你一个新的数据可以利用该线性方程得到较为准确的预测；

假设，我们现在又数据集$X=\{x^1,x^2,......,x^m\}$，且其中的每一个数据$x^i=(x_1^i,x_2^i,......x_n^i)$是$n$维向量（即包含了$n$​个特征，比如身高、体重、视力等）。对应的标签$Y=\{y^1,y^2,......y^m\}$。

现在，我们有一个线性方程
$$h_{\theta }(x^i)={\theta }_0+{\theta }_1{x}_1^i+{\theta }_2{x}_2^i+......+{\theta }_n{x}_n^i={\Theta }^T\widehat{x^i}\text{\hspace{1em}(1)}$$
其中$\widehat{x^i}:=(1,x_1^i,x_2^i,......x_n^i)$​​，在后面我们直接用$x^i$表示；

假如每次输入一个$x^i$​​都能得到一个与$y^i$​​非常接近的值，则此线性方程是拟合成功的。

极大似然估计（MLE）

我们假设预测值与准确值之间有误差$\epsilon$​
$$y^i=h_{\theta }(x^i)+{\epsilon }^i\text{\hspace{1em}(2)}$$
且，改误差服从高斯分布
$$\epsilon \sim N(0,{\sigma }^2)\text{\hspace{1em}(3)}$$
那么就有
$$p({\epsilon }^i)=\frac{1}{\sqrt{2\pi }\sigma }\cdot \exp (-\frac{({\epsilon }^i{)}^2}{2{\sigma }^2})\text{\hspace{1em}(4)}$$
则似然函数为
$$L(\theta |x)=\prod _{i=1}^{m}p({\epsilon }^i)=\prod _{i=1}^{m}p(y^i|x^i;\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\cdot \exp (-\frac{(y^i-{\Theta }^T{x}^i{)}^2}{2{\sigma }^2})\text{\hspace{1em}(5)}$$
对数化
$$\begin{gathered} l(\theta )=\log L(\theta |x)=\sum _{i=1}^m\log p({\epsilon }^i)=\sum _{i=1}^m\log (\frac{1}{\sqrt{2\pi }\sigma }\cdot \exp (-\frac{(y^i-{\Theta }^T{x}^i{)}^2}{2{\sigma }^2})) \\ =m\log \frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^i-{\Theta }^T{x}^i{)}^2\text{\hspace{1em}(6)} \end{gathered}$$
由极大似然估计可知，极大化$l(\theta )$就是极小化$\frac{1}{2}{\sum }_{i=1}^m(y^i-{\Theta }^T{x}^i{)}^2$​

OLS（最小二乘法）

$$\underset{\theta }{\min }J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^i-h_{\theta }(x^i){)}^2$$

求解

• 直接解析法

对下式求导并令其为0
$$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^i-h_{\theta }(x^i){)}^2=\frac{1}{2}(Y-X\Theta {)}^T(Y-X\Theta )$$

$$\begin{gathered} {▽}_{\theta }J(\theta )={▽}_{\theta }\frac{1}{2}((Y^T-{\Theta }^T{X}^T)(Y-X\Theta )) \\ ={▽}_{\theta }\frac{1}{2}(Y^{T}Y-Y^{T}X\Theta -{\Theta }^T{X}^{T}Y+{\Theta }^T{X}^{T}X\Theta ) \\ =\frac{1}{2}(-X^{T}Y-X^{T}Y+2X^{T}X\Theta ) \\ =X^{T}X\Theta -X^{T}Y \end{gathered}$$

最后求得
$$\Theta =(X^{T}X{)}^{-1}{X}^{T}Y$$