numpy 最小二乘拟合 一元线性回归与多元线性回归 原理与代码

需要代码的可以直接跳到最后一章，我们这里会进行一些数学推导

一、相关系数

1.1、相关系数的计算

相关系数是对变量之间关系的密切程度的度量，对两个变量之间线性相关程度的度量称为简单相关系数，若相关系数是根据全部数据计算的，称为总体相关系数记为 $\rho$，若是根据样本数据计算的则称为样本先关系数记为$r$。

样本相关系数的计算公式
$$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{{\sum {(x_i-\bar{x})}^2\cdot (y_i-\bar{y})}^2}}=\frac{l_{xy}}{\sqrt{l_{xx}\cdot l_{yy}}}$$
r的取值范围是-1到1

r的绝对值为1，完全相关

r=0，不相关（线性），但是不能说明变量之间没有线性关系

r<0，负相关。r>0，正相关

r的数值与量纲无关，r也不表示因果关系

1.2、相关系数的显著性检验

检验两个总体变量之间是否存在线性相关性，采用t检验，提出假设 $H_0:\rho =0;H_1:\rho \ne 0;$计算检验的统计量：
$$T=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$$
确定显著性水平$\alpha$,并作出决策，若$|T|>t_{\alpha }$则拒绝原假设。若$|T|<t_{\alpha }$则不拒绝原假设

二、一元线性回归

在相关分析中，变量x和变量y处于同等地位，在回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化。回归模型分为一元回归和多元回归，一元回归分为线性回归和非线性回归，多元回归也分为线性回归和非线性回归。一元回归只有一个自变量，多元回归有多个自变量。

对于只涉及一个自变量的简单线性回归模型可以表示为
$$y={\beta }_0+{\beta }_{1}x+\epsilon$$
误差项$\epsilon$是随机变量，反映了除x和y之间的线性关系之外的随机因素对y的影响，是不能由x和y之间的线性关系所解释的变异性。

1.1、一元线性回归的基本假设

$$E(\epsilon )=0;E(y|x)={\beta }_0+{\beta }_{1}x;$$

对于所有的x值，$\epsilon$的方差${\sigma }^2$都相同，误差项$\epsilon$是一个服从正态分布的随机变量，且相互独立，即$\epsilon \sim N({\sigma }^2)$

1.2、回归方程

描述y的平均值或者期望值如何依赖于x的方程称为回归方程，回归方程的形式如下
$$E(y)={\beta }_0+{\beta }_{1}x$$
总体回归参数${\beta }_0,{\beta }_1$是未知的，需要利用样本数据去估计，用样本统计量${\hat{\beta }}_0$${\hat{\beta }}_1$去估计${\beta }_0,{\beta }_1$就得到了估计的回归方程。
$$E(y)={\hat{\beta }}_0+{\hat{\beta }}_{1}x$$

1.3、参数的最小二乘估计

最小二乘法是使得因变量的观察值与估计值之间的离差平方和达到最小来求参数的方法
$$\{\begin{array}{l}{\beta }_1=\frac{\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}=\frac{l_{xy}}{l_{xx}}\\ {\beta }_0=\bar{y}-{\hat{\beta }}_1\bar{x}\end{array}$$

1.4、离差平方和的分解

因变量y的取值是不同的，y取值的变异性来源于两个方面，自变量x不同和其他因素的影响（测量误差等）。

通过一个具体的观测值，变异的大小可以通过该实际观测值与其均值之差$y-\bar{y}$来表示
$$\begin{gathered} SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2 \\ SSR=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2 \\ SSE=\sum _{i=1}^n(y_i-\hat{y}{)}^2 \\ SST=SSR+SSE \end{gathered}$$

SSR是总变异平方和，SSR是回归平方和，SSE是残差平方和

1.5、判定系数

判定系数是回归平方和占总离差平方和的比例
$$r^2=\frac{SSR}{SST}=\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}$$
反映了回归直线的拟合程度，取值范围在-1到1之间，$r_2\to 1$回归方程的拟合效果更好，判定系数等于相关系数的平方（一元线性回归）

1.6、估计标准误差

估计标准误差是实际观察值与回归估计值离差平方和的均方根，反映实际观察值在回归直线附近的分散情况，从另一个角度说明了回归直线的拟合程度，计算公式为
$$S_y=\sqrt{\frac{\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}{n-2}}=\sqrt{\frac{SSE}{n-2}}$$

1.7、回归方程的显著性检验

检验自变量和因变量之间的线性关系是否显著，具体方法是将SSR同SSE比较，用F检验来分析两者之间的差别是否显著，如果显著，两变量之间不存在线性关系，如果不显著，两个变量之间存在线性关系。提出假设$H_0:$线性关系不显著；$H_1：$线性关系显著
$$F=\frac{MSR}{MSE}=\frac{SSR/1}{SSE/(n-2)}=\frac{(\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2)/1}{(\sum _{i=1}^n(y_i-\bar{y}{)}^2)/(n-2)}\sim F(1,n-2)$$
确定显著性水平$\alpha$，并根据自由度查出临界值$F_{\alpha }$，做出决策：若$F>F_{\alpha }$，拒绝$H_0$;若$F<F_{\alpha }$，接受$H_0$;

1.8、回归系数的显著性检验

${\hat{\beta }}_1$是根据最小二乘法求出的样本统计量，他有自己的分布。具有如下性质：

分布：正态分布

数学期望：$D({\hat{\beta }}_1)={\beta }_1$

标准差：${\sigma }_{{\hat{\beta }}_1}=\frac{\sigma }{\sqrt{\sum (s_i-\bar{x}{)}^2}}$

由于$\sigma$未知，需要用估计量$S_y$来代替得到${\hat{\beta }}_1$的估计的标准差${\sigma }_{{\hat{\beta }}_1}=\frac{S_y}{\sqrt{\sum (s_i-\bar{x}{)}^2}}$

提出假设 $H_0:{\beta }_1=0(没有线性关系)；H_1:{\beta }_1\ne 0(有线性关系)$

计算检验的统计量 $T=\frac{{\hat{\beta }}_1}{S_{{\hat{\beta }}_1}}\sim t(n-2)$

确定显著性水平$\alpha$，并根据自由度查出临界值$t_{\alpha /2}$，做出决策：若$t>t_{\alpha /2}$，拒绝$H_0$;若$t<t_{\alpha /2}$，不拒绝$H_0$;

1.9、点估计

平均值的点估计 ${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1\cdot \bar{x}$

个别值的点估计 ${\hat{y}}_0={\hat{\beta }}_0+{\hat{\beta }}_1\cdot x_1$

1.10、区间估计

y的平均值的置信区间估计，$E(y_0)$在$1-\alpha$置信水平下的置信区间
$${\hat{y}}_0\pm t_{\alpha /2}(n-2)S_y\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}}$$
y的个别值的预测区间估计，对于自变量$x$的一个给定值$x_0$，求出因变量$y$的一个个别值的估计区间，这一区间成为预测区间
$${\hat{y}}_0\pm t_{\alpha /2}(n-2)S_y\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{\sum _{i=1}^n(x_i-\bar{x}{)}^2}}$$
影响区间宽度的水平

区间水平随着置信水平的增大而增大，区间宽度随离散程度的增大而增大，区间宽度随样本容量的增大而减小，区间宽度随着$x_0$与$\bar{x}$的差异程度的增大而增大。

1.11、残差分析

残差 $e_i=y_i-{\hat{y}}_i=y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i$

误差项 ${\epsilon }_i=y_i-{\beta }_0-{\beta }_1{x}_i$

残差是误差项的估计值

残差标准化(残差除以其标准差后得到的数值) $z_{e_i}=\frac{e_i}{S_e}=\frac{y_i-{\hat{y}}_i}{\sqrt{MSE}}$

如果$\epsilon$服从正态分布，那么标准化残差也应该服从正态分布

三、多元线性回归

多元线性回归模型可以表示为
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_p{x}_p+\epsilon$$
自变量可观测，随机误差项${\epsilon }_i$的期望值为0，且方差${\sigma }^2$均相同，是一个服从正态分布的随机变量，且相互独立

3.1、最小二乘法

使因变量的观察值与估计值之间的离差平方和最小来求
$$Q({\hat{\beta }}_0,{\hat{\beta }}_1,{\hat{\beta }}_1,...,{\hat{\beta }}_0,)=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n{e}_i^2$$
根据最小二乘法可以求解各回归参数
KaTeX parse error: Unknown column alignment: 1 at position 24: … \begin{array}{1̲} {{\frac {\par…

3.2、回归方程的显著性检验

多重判定系数$R^2$
$$R^2=\frac{SSR}{SST}=\frac{\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2}{\sum _{i=1}^n(y_i-\bar{y}{)}^2}$$
取值在0-1之间，$R^2\to 1$说明回归方程拟合好

修正的多重判定系数$R^2$
$$R_{修}^2=1-(1-R^2)\times \frac{n-1}{n-p-1}$$
提出假设$H_0:$线性关系不显著；$H_1：$线性关系显著
$$F=\frac{MSR}{MSE}=\frac{SSR/p}{SSE/(n-p-1)}=\frac{(\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2)/p}{(\sum _{i=1}^n(y_i-\bar{y}{)}^2)/(n-p-1)}\sim F(p,n-p-1)$$
确定显著性水平$\alpha$，并根据自由度查出临界值$F_{\alpha }$，做出决策：若$F>F_{\alpha }$，拒绝$H_0$;若$F<F_{\alpha }$，接受$H_0$;

3.3、回归系数的显著性检验

计算检验的统计量 $T=\frac{{\hat{\beta }}_1}{S_{{\hat{\beta }}_1}}\sim t(n-p-1)$

确定显著性水平$\alpha$，并根据自由度查出临界值$t_{\alpha /2}$，做出决策：若$|T|>t_{\alpha /2}$，拒绝$H_0$;若$|T|<t_{\alpha /2}$，不拒绝$H_0$;

四、非线性回归

几种常见的非线性模型

指数函数 $y=\alpha e^{\beta x}$ 两边取对数线性化

幂函数 $y=a{x}^{\beta }$ 两边取对数线性化

双曲线函数 $y=\frac{x}{\alpha x+\beta }$

对数函数 $y=\alpha +\beta lnx$

S型曲线$y=\frac{1}{\alpha +\beta e^{-x}}$

代码

代码需要安装的库

linux系统下

sudo pip install numpy
sudo pip install matplotlib

windows系统下

pip install numpy
pip install matplotlib

代码如下

# 最小二乘拟合
import numpy as np
import matplotlib.pyplot as plt

# 需要拟合的两个变量
x = np.array([1,2,3,4,5])
y = np.array([1,2,4,9,15])
# 需要多少阶拟合
m = 10

# 生成系数矩阵A
def gen_coefficient_matrix(X):
    A = []
    # 计算每一个方程的系数
    for i in range(m):
        a = []
        # 计算当前方程中的每一个系数
        for j in range(m):
            a.append(sum(X ** (i+j)))
        A.append(a)
    return A

# 计算方程组的右端向量b
def gen_right_vector(X, Y):
    b=[]
    for i in range(m):
        b.append(sum(X**i*y))
    return b

A = gen_coefficient_matrix(x)
b = gen_right_vector(x,y)

res = np.linalg.solve(A, b)
print(f"res is {res}")

x_ = [x0 / 10 for x0 in range(1 ,max(x)*10+1)]
z = []

for i in x_:
    temp = 0
    for j in range(len(res)):
        temp = temp + res[j] * (i) ** j
    z.append(temp) 


plt.figure(1)
plt.plot(x,y,'ro')
plt.plot(x_,z,'-')
plt.show()