【概率论】期末复习笔记:一元线性回归

一元线性回归

  • 一、回归分析
  • 二、一元线性回归模型
  • 三、 a , b a,b a,b σ 2 \sigma^2 σ2的估计
  • 四、可化为一元线性回归的模型
    • 1. Y = α e β x ⋅ ε ,   ln ⁡ ε   ~   N ( 0 , σ 2 ) Y=\newcommand{\td}{\,\text{\textasciitilde}\,}\alpha e^{\beta x}\cdot\varepsilon,\,\ln\varepsilon\td N(0,\sigma^2) Y=αeβxε,lnε~N(0,σ2)
    • 2. Y = α + β h ( x ) + ε ,   ε   ~   N ( 0 , σ 2 ) Y=\alpha+\beta h(x)+\varepsilon,\,\varepsilon\newcommand{\td}{\,\text{\textasciitilde}\,}\td N(0,\sigma^2) Y=α+βh(x)+ε,ε~N(0,σ2)

一、回归分析

变量之间的关系可能是确定性关系(函数关系),也可能是统计依赖关系(相关关系)。在相关关系中,“因变量”是随机变量,它的取值带有不确定性,不能用考察函数关系的方法进行分析,而要用统计学的方法。考察相关关系的方法有两种:当自变量是可以测量和控制的非随机变量时,采用回归分析(regression analysis);如果自变量也是随机变量或不可控变量,采用相关分析(correlation analysis)。

二、一元线性回归模型

回归函数:设 x x x为可控变量, Y Y Y为与之相关的随机变量。当自变量 x x x取确定值时, Y Y Y有一确定的(条件)分布与之对应。如果 Y Y Y的数学期望存在,那么其取值随 x x x的取值而定,因而它是 x x x的函数,记为 μ ( x ) \mu(x) μ(x),即 μ ( x ) = E ( Y ∣ x ) \mu(x)=E(Y|x) μ(x)=E(Yx),则称 μ ( x ) \mu(x) μ(x) Y Y Y关于 x x x的回归函数。 函数关系: x 确定 ⟶ Y 的 取值 ‾ 唯一确定 回归分析: x 确定 ⟶ Y 的 分布 ‾ 唯一确定 \textcolor{orange}{\text{函数关系:}x\text{确定}\longrightarrow Y\text{的\underline{取值}唯一确定}}\\ \textcolor{green}{\text{回归分析:}x\text{确定}\longrightarrow Y\text{的\underline{分布}唯一确定}} 函数关系:x确定Y取值唯一确定回归分析:x确定Y分布唯一确定回归分析的基本任务是利用试验数据来估计 Y Y Y关于 x x x的回归函数 μ ( x ) \mu(x) μ(x)

一元线性回归问题:设 Y Y Y关于 x x x的回归函数为 μ ( x ) \mu(x) μ(x),若 μ ( x ) \mu(x) μ(x)为线性函数 μ ( x ) = a + b x \mu(x)=a+bx μ(x)=a+bx,此时估计 μ ( x ) \mu(x) μ(x)的问题称为一元线性回归问题。

一元线性回归模型:设 x x x是可控变量, Y Y Y是依赖于 x x x的随机变量,假定 { Y = a + b x + ε ε   ~   N ( 0 , σ 2 ) \newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y=a+bx+\varepsilon\\ \varepsilon\td N(0,\sigma^2) \end{cases} {Y=a+bx+εε~N(0,σ2)其中未知参数 a , b , σ 2 a,b,\sigma^2 a,b,σ2都不依赖于 x x x,则称该模型为一元线性回归模型。

样本 ( x 1 , Y 1 ) , ( x 2 , Y 2 ) , ⋯   , ( x n , Y n ) (x_1,Y_1),(x_2,Y_2),\cdots,(x_n,Y_n) (x1,Y1),(x2,Y2),,(xn,Yn) Y 1 , Y 2 , ⋯   , Y n Y_1,Y_2,\cdots,Y_n Y1,Y2,,Yn是相互独立的随机变量)
样本值 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),,(xn,yn)

一元线性回归模型的样本形式 { Y i = a + b x i + ε i ε i   ~   N ( 0 , σ 2 )    ( i = 1 , 2 , ⋯   , n ) ,   且 ε 1 , ε 2 , ⋯   , ε n 相互独立 \newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y_i=a+bx_i+\varepsilon_i\\ \varepsilon_i\td N(0,\sigma^2) \end{cases}\;(i=1,2,\cdots,n),\,\text{且}\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\text{相互独立} {Yi=a+bxi+εiεi~N(0,σ2)(i=1,2,,n),ε1,ε2,,εn相互独立经验回归直线方程:如果由 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),,(xn,yn)得到了未知参数 a , b a,b a,b的估计值 a ^ , b ^ \hat{a},\hat{b} a^,b^,则对于给定的 x x x,我们可取 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x作为 μ ( x ) = a + b x \mu(x)=a+bx μ(x)=a+bx的估计值,而方程 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x称为 Y Y Y关于 x x x的经验回归方程。

三、 a , b a,b a,b σ 2 \sigma^2 σ2的估计

最小二乘法:已知变量 x , Y x,Y x,Y n n n对试验数据 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),,(xn,yn),其中 x i x_i xi不全相同,作离差平方和 Q ( a , b ) = ∑ i = 1 n ( y i − a − b x i ) 2 Q(a,b)=\sum\limits_{i=1}^n{(y_i-a-bx_i)}^2 Q(a,b)=i=1n(yiabxi)2,选择参数 a , b a,b a,b使得 Q ( a , b ) Q(a,b) Q(a,b)最小,这种方法叫做最小二乘法。

为了求 Q ( a , b ) Q(a,b) Q(a,b)的最小值,需要使 ∂ Q ∂ a , ∂ Q ∂ b \cfrac{\partial Q}{\partial a},\cfrac{\partial Q}{\partial b} aQ,bQ均为 0 0 0,即 { ∂ Q ∂ a = − 2 ∑ i = 1 n ( y i − a − b x i ) = 0 ∂ Q ∂ b = − 2 ∑ i = 1 n ( y i − a − b x i ) x i = 0 \begin{cases} \cfrac{\partial Q}{\partial a}=-2\sum\limits_{i=1}^n{(y_i-a-bx_i)}=0\\ \cfrac{\partial Q}{\partial b}=-2\sum\limits_{i=1}^n{(y_i-a-bx_i)}x_i=0 \end{cases} aQ=2i=1n(yiabxi)=0bQ=2i=1n(yiabxi)xi=0得方程组 { n a + b ∑ i = 1 n x i = ∑ i = 1 n y i a ∑ i = 1 n x i + b ∑ i = 1 n x i 2 = ∑ i = 1 n x i y i \begin{cases} na+b\sum\limits_{i=1}^n x_i=\sum\limits_{i=1}^n y_i\\ a\sum\limits_{i=1}^n x_i+b\sum\limits_{i=1}^n x_i^2=\sum\limits_{i=1}^n x_iy_i \end{cases} na+bi=1nxi=i=1nyiai=1nxi+bi=1nxi2=i=1nxiyi上式称为正规方程组。其系数行列式为 ∣ n ∑ i = 1 n x i ∑ i = 1 n x i ∑ i = 1 n x i 2 ∣ = n ∑ i = 1 n x i 2 − ( ∑ i = 1 n x i ) 2 = n ∑ i = 1 n ( x i − x ‾ ) 2 \begin{vmatrix} n&\sum\limits_{i=1}^n x_i\\ \sum\limits_{i=1}^n x_i&\sum\limits_{i=1}^n x_i^2 \end{vmatrix}=n\sum\limits_{i=1}^n x_i^2-{\left(\sum\limits_{i=1}^n x_i\right)}^2=n\sum\limits_{i=1}^n{\left(x_i-\overline{x}\right)}^2 ni=1nxii=1nxii=1nxi2 =ni=1nxi2(i=1nxi)2=ni=1n(xix)2因为 x i x_i xi不完全相同,所以系数行列式不为 0 0 0,因此正规方程组有唯一解,得 a , b a,b a,b的估计值为 { b ^ = S x y S x x = x ˉ y ˉ − x y ‾ x 2 ‾ − x ‾ 2 a ^ = y ‾ − b ^ x ‾ \begin{cases} \hat{b}=\cfrac{S_{xy}}{S_{xx}}=\cfrac{\bar{x}\bar{y}-\overline{xy}}{\overline{x^2}-\overline{x}^2}\\ \hat{a}=\overline{y}-\hat{b}\overline{x} \end{cases} b^=SxxSxy=x2x2xˉyˉxya^=yb^x其中 S x y = ∑ i = 1 n ( x i − x ‾ ) ( y i − y ‾ ) S_{xy}=\sum\limits_{i=1}^n \left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right) Sxy=i=1n(xix)(yiy) S x x = ∑ i = 1 n ( x i − x ‾ ) 2 S_{xx}=\sum\limits_{i=1}^n{\left(x_i-\overline{x}\right)}^2 Sxx=i=1n(xix)2

于是,所求的经验回归方程为 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x。若把 a ^ = y ‾ − b ^ x ‾ \hat{a}=\overline{y}-\hat{b}\overline{x} a^=yb^x代入经验回归方程方程,则经验回归直线方程为 y ^ = y ‾ − b ^ x ‾ + b ^ x = y ‾ + b ^ ( x − x ‾ ) \hat{y}=\overline{y}-\hat{b}\overline{x}+\hat{b}x=\overline{y}+\hat{b}\left(x-\overline{x}\right) y^=yb^x+b^x=y+b^(xx),这表明经验回归直线方程过散点图的几何中心 ( x ‾ , y ‾ ) \left(\overline{x},\overline{y}\right) (x,y)

下面求 σ 2 \sigma^2 σ2的估计。令 y ^ i = a ^ + b ^ x i   ( i = 1 , 2 , ⋯   , n ) \hat{y}_i=\hat{a}+\hat{b}x_i\,(i=1,2,\cdots,n) y^i=a^+b^xi(i=1,2,,n),称 y i − y ^ i y_i-\hat{y}_i yiy^i x i x_i xi处的残差,称 Q e = ∑ i = 1 n ( y i − y ^ i ) 2 = ∑ i = 1 n ( y i − a ^ − b ^ x i ) 2 Q_e=\sum\limits_{i=1}^n{\left(y_i-\hat{y}_i\right)}^2=\sum\limits_{i=1}^n{\left(y_i-\hat{a}-\hat{b}x_i\right)}^2 Qe=i=1n(yiy^i)2=i=1n(yia^b^xi)2为残差平方和。事实上 Q e = Q  ⁣ ( a ^ , b ^ ) Q_e=Q\!\left(\hat{a},\hat{b}\right) Qe=Q(a^,b^)就是 Q ( a , b ) Q(a,b) Q(a,b)的最小值。可以证明, σ 2 \sigma^2 σ2的无偏估计量为 σ 2 ^ = Q e n − 2 \hat{\sigma^2}=\dfrac{Q_e}{n-2} σ2^=n2Qe

Q e Q_e Qe还可以通过另一种方式计算: Q e = S y y − ( b ^ ) 2 S x x Q_e=S_{yy}-{\left(\hat{b}\right)}^2S_{xx} Qe=Syy(b^)2Sxx,其中 S y y = ∑ i = 1 n ( y i − y ‾ ) 2 S_{yy}=\sum\limits_{i=1}^n{\left(y_i-\overline{y}\right)}^2 Syy=i=1n(yiy)2

总结一下公式: y ^ = a ^ + b ^ x b ^ = S x y S x x a ^ = y ‾ − b ^ x ‾ σ 2 ^ = Q e n − 2 = 1 n − 2 [ S y y − ( b ^ ) 2 S x x ] \boxed{\begin{aligned} \hat{y}&=\hat{a}+\hat{b}x\\ \hat{b}&=\cfrac{S_{xy}}{S_{xx}}\\ \hat{a}&=\overline{y}-\hat{b}\overline{x}\\ \hat{\sigma^2}&=\cfrac{Q_e}{n-2}=\cfrac{1}{n-2}\left[S_{yy}-{\left(\hat{b}\right)}^2S_{xx}\right] \end{aligned}} y^b^a^σ2^=a^+b^x=SxxSxy=yb^x=n2Qe=n21[Syy(b^)2Sxx]

四、可化为一元线性回归的模型

1. Y = α e β x ⋅ ε ,   ln ⁡ ε   ~   N ( 0 , σ 2 ) Y=\newcommand{\td}{\,\text{\textasciitilde}\,}\alpha e^{\beta x}\cdot\varepsilon,\,\ln\varepsilon\td N(0,\sigma^2) Y=αeβxε,lnε~N(0,σ2)

其中 α , β , σ 2 \alpha,\beta,\sigma^2 α,β,σ2是与 x x x无关的未知参数。

等式两边取对数得 ln ⁡ Y = ln ⁡ α + β x + ln ⁡ ε Y ′ = a + b x + ε ′ \begin{aligned} \ln Y&=\ln\alpha+\beta x+\ln\varepsilon\\ Y'&=a+bx+\varepsilon' \end{aligned} lnYY=lnα+βx+lnε=a+bx+ε其中 Y ′ = ln ⁡ Y ,   a = ln ⁡ α ,   b = β ,   ε ′ = ln ⁡ ε Y'=\ln Y,\,a=\ln\alpha,\,b=\beta,\,\varepsilon'=\ln\varepsilon Y=lnY,a=lnα,b=β,ε=lnε

2. Y = α + β h ( x ) + ε ,   ε   ~   N ( 0 , σ 2 ) Y=\alpha+\beta h(x)+\varepsilon,\,\varepsilon\newcommand{\td}{\,\text{\textasciitilde}\,}\td N(0,\sigma^2) Y=α+βh(x)+ε,ε~N(0,σ2)

其中 α , β , σ 2 \alpha,\beta,\sigma^2 α,β,σ2是与 x x x无关的未知参数, h ( x ) h(x) h(x) x x x的已知函数。

a = α ,   b = β ,   x ′ = h ( x ) a=\alpha,\,b=\beta,\,x'=h(x) a=α,b=β,x=h(x),则转化为一元线性回归模型 Y = a + b x ′ + ε Y=a+bx'+\varepsilon Y=a+bx+ε

你可能感兴趣的:(概率论,概率论,线性回归,数学,回归)