回归分析笔记

回归分析

回归分析: 寻找两个或多个变量之间的函数关系(相关关系)

一元和线性

y = β 0 + β 1 x + ε \begin{aligned} y&=\beta_0+\beta_1x+\varepsilon\\ \end{aligned} y=β0+β1x+ε

  • 误差项 ε \varepsilon ε是一个期望值为0的随机变量,即 E ( ε ) = 0 E(\varepsilon)=0 E(ε)=0, 对于一个给定的 x x x值, y y y的期望值为 E ( y ) = β 0 + β 1 x E(y)=\beta_0+\beta_1x E(y)=β0+β1x
  • 对于所有的 x x x值, ε \varepsilon ε的方差 σ 2 \sigma^2 σ2都相同
  • 误差项 ε \varepsilon ε是一个服从正态分布的随机变量,且相互独立

β 1 = ∑ x i y i − n x ‾ y ‾ ∑ x 2 − n x ‾ β 0 = y ‾ − β 1 x ‾ \begin{aligned} \beta_1&=\frac{\sum x_iy_i-n\overline x\overline y}{\sum x^2-n\overline x}\\ \beta_0&=\overline y-\beta_1\overline x\\ \end{aligned} β1β0=x2nxxiyinxy=yβ1x

回归显著性校验:

  • 总离差平方和(SST): ∑ ( y i − y ‾ ) 2 \sum(y_i-\overline y)^2 (yiy)2
  • 残差平方和(SSE): ∑ ( y i − y ^ i ) 2 \sum(y_i-\hat y_i)^2 (yiy^i)2
  • 回归平方和(SSR): ∑ ( y ^ i − y ‾ ) 2 \sum(\hat y_i-\overline y)^2 (y^iy)2

S S T = ∑ ( y i − y ‾ ) 2 = ∑ [ ( y ^ i − y ‾ ) + ( y i − y ^ i ) ] 2 = ∑ ( y ^ i − y ‾ ) 2 + ∑ ( y i − y ^ i ) 2 + 2 ∑ ( y ^ i − y ‾ ) ( y i − y ^ i ) = ∑ ( y ^ i − y ‾ ) 2 + ∑ ( y i − y ^ i ) 2 + 0 = S S R + S S E \begin{aligned} SST&=\sum(y_i-\overline y)^2\\ &=\sum [(\hat y_i-\overline y)+(y_i-\hat y_i) ]^2\\ &=\sum(\hat y_i-\overline y)^2+\sum(y_i-\hat y_i)^2+2\sum(\hat y_i-\overline y)(y_i-\hat y_i)\\ &=\sum(\hat y_i-\overline y)^2+\sum(y_i-\hat y_i)^2+0\\ &=SSR+SSE \end{aligned} SST=(yiy)2=[(y^iy)+(yiy^i)]2=(y^iy)2+(yiy^i)2+2(y^iy)(yiy^i)=(y^iy)2+(yiy^i)2+0=SSR+SSE

相关系数 r r r

r 2 = S S R S S T = ∑ ( y ^ i − y ‾ ) 2 ∑ ( y i − y ‾ ) 2 = 1 − ∑ ( y i − y ^ ) 2 ∑ ( y i − y ‾ ) 2 r^2=\frac{SSR}{SST}=\frac{\sum(\hat y_i-\overline y)^2}{\sum(y_i-\overline y)^2}=1-\frac{\sum(y_i-\hat y)^2}{\sum(y_i-\overline y)^2} r2=SSTSSR=(yiy)2(y^iy)2=1(yiy)2(yiy^)2

  • r r r越接近于1,相关性越强
  • r ∈ [ 0 , 1 ] r\in[0, 1] r[0,1]
F F F检验
  • 提出假设: 线性关系不显著
  • 计算检验统计量 F F F

F = S S R / 1 S S E / ( n − 2 ) = ∑ ( y ^ i − y ‾ ) 2 ∑ ( y ^ i − y i ) 2 / ( n − 2 ) ∼ F ( 1 , n − 2 ) \begin{aligned} F&=\frac{SSR/1}{SSE/(n-2)}=\frac{\sum(\hat y_i-\overline y)^2}{\sum(\hat y_i-y_i)^2/(n-2)}\sim F(1, n-2)\\ \end{aligned} F=SSE/(n2)SSR/1=(y^iyi)2/(n2)(y^iy)2F(1,n2)

  • 确定显著性水平 α \alpha α,并根据分子自由度1和分母自由度(n-2)找出临界值 F α F_\alpha Fα作出决策: 若 F ≥ F α F\geq F_\alpha FFα, 拒绝假设; 否则接受假设。(概率论与数理统计)
  • F F F越大线性关系越显著
F F F r r r的关系

F = ( n − 2 ) r 2 1 − r 2 F=\frac{(n-2)r^2}{1-r^2}\\ F=1r2(n2)r2

  • 说明 F F F检验和 r r r相关系数的一致性
例题

回归分析笔记_第1张图片

重复测量的分析

对于同一个 x x x重复测量得到 y y y的值

  • 离差平方和: S S S

  • 残差平方和: Q Q Q

  • 回归平方和: U U U

  • 误差平方和: Q E Q_E QE

  • 失拟平方和: Q L Q_L QL

回归分析笔记_第2张图片

回归分析笔记_第3张图片

两个变量都有误差的一元线性回归

回归分析笔记_第4张图片

回归分析笔记_第5张图片

回归分析笔记_第6张图片

回归分析笔记_第7张图片

  • λ \lambda λ衡量了误差偏向的方向
  • 问题: 如何通过先验信息测出 λ = σ x 2 σ y 2 \lambda=\frac{\sigma_x^2}{\sigma_y^2} λ=σy2σx2?

一元非线性

  • 化非线性为线性问题的求解

典型的化解方法

y = α e β x y = α x β y = x α x + β y = α + β log ⁡ x y = 1 α + β e − x \begin{aligned} y&=\alpha e^{\beta x}\\ y&=\alpha x^\beta\\ y&=\frac{x}{\alpha x+\beta}\\ y&=\alpha+\beta\log x\\ y&=\frac{1}{\alpha+\beta e^{-x}}\\ \end{aligned} yyyyy=αeβx=αxβ=αx+βx=α+βlogx=α+βex1

回归分析笔记_第8张图片

具体步骤

  • 根据散点图确认非线性回归方程模式
  • 把非线性回归方程转换为线性回归方程
  • 依据线性回归方程进行求解
  • 再转换为非线性回归方程

回归分析笔记_第9张图片回归分析笔记_第10张图片

回归分析笔记_第11张图片

  • 观察数据是否符合某个曲线, 若符合则可以套用公式试试效果
  • 以下是常见的曲线

回归分析笔记_第12张图片

回归分析笔记_第13张图片

  • 在实际情况下,可能有多条曲线符合。这时需要将所有曲线都尝试一遍,然后做显著性校验,选取显著性校验最好的曲线作为结果。

多元线性

y ^ = b 0 + b 1 x 1 + b 2 x 2 + . . . + b M x M 由 最小二乘法 : Q = ∑ t = 1 M ( y t − y ^ t ) = ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) 2 = 最小 { ∂ Q ∂ b 0 = − 2 ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) = 0 ∂ Q ∂ b i = − 2 ∑ t = 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) = 0 i = 1 , 2...... M \begin{aligned} \hat y &=b_0+b_1x_1+b_2x_2+...+b_Mx_M\\ 由&最小二乘法:\\ Q&=\sum_{t=1}^M(y_t-\hat y_t)=\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})^2=最小\\ &\begin{cases} \frac{\partial Q}{\partial b_0}=-2\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})=0\\ \frac{\partial Q}{\partial b_{i}}=-2\sum_{t=1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})=0\\ i=1,2......M \end{cases} \end{aligned} y^Q=b0+b1x1+b2x2+...+bMxM最小二乘法:=t=1M(yty^t)=t=1M(ytb0b1xt1b2xt2...bMxtM)2=最小 b0Q=2t=1M(ytb0b1xt1b2xt2...bMxtM)=0biQ=2t=1M(ytb0b1xt1b2xt2...bMxtM)=0i=1,2......M

矩阵形式:
( X T X ) b = X T Y b = A − 1 B = ( X T X ) − 1 X T Y \begin{aligned} (X^TX)b&=X^TY\\ b=A^{-1}&B=(X^TX)^{-1}X^TY\\ \end{aligned} (XTX)bb=A1=XTYB=(XTX)1XTY
另一种方法
y ^ = μ 0 + b 1 ( x 1 − x ‾ 1 ) + b 2 ( x 2 − x ‾ 2 ) + . . . + b M ( x M − x ‾ M ) A b = B 其 中 : μ = b 1 x ‾ 1 + b 2 x ‾ 2 + . . . + b M x ‾ M = y ‾ \begin{aligned} \hat y&=\mu_0+b_1(x_1-\overline x_1)+b_2(x_2-\overline x_2)+...+b_M(x_M-\overline x_M)\\ \qquad &\qquad \qquad \qquad \qquad Ab=B\\ 其&中:\mu=b_1\overline x_1+b_2\overline x_2+...+b_M\overline x_M=\overline { y}\\ \end{aligned} y^=μ0+b1(x1x1)+b2(x2x2)+...+bM(xMxM)Ab=B:μ=b1x1+b2x2+...+bMxM=y

  • 要求的系数 b b b比上一种方法少一个,矩阵维数由 M + 1 → M M+1\to M M+1M

  • 计算量减少

F F F检验

回归分析笔记_第14张图片

实例

回归分析笔记_第15张图片回归分析笔记_第16张图片
回归分析笔记_第17张图片
回归分析笔记_第18张图片

参考资料

【名校公开课-误差理论与数据处理-钱政 | 北京航空航天大学】

你可能感兴趣的:(算法,回归,笔记,数据挖掘)