【概率论】期末复习笔记：一元线性回归
一元线性回归
- 一、回归分析
- 二、一元线性回归模型
- 三、 a , b a,b a,b和 σ 2 \sigma^2 σ2的估计
- 四、可化为一元线性回归的模型
-
- 1. Y = α e β x ⋅ ε , ln ε ~ N ( 0 , σ 2 ) Y=\newcommand{\td}{\,\text{\textasciitilde}\,}\alpha e^{\beta x}\cdot\varepsilon,\,\ln\varepsilon\td N(0,\sigma^2) Y=αeβx⋅ε,lnε~N(0,σ2)
- 2. Y = α + β h ( x ) + ε , ε ~ N ( 0 , σ 2 ) Y=\alpha+\beta h(x)+\varepsilon,\,\varepsilon\newcommand{\td}{\,\text{\textasciitilde}\,}\td N(0,\sigma^2) Y=α+βh(x)+ε,ε~N(0,σ2)
一、回归分析
变量之间的关系可能是确定性关系（函数关系），也可能是统计依赖关系（相关关系）。在相关关系中，“因变量”是随机变量，它的取值带有不确定性，不能用考察函数关系的方法进行分析，而要用统计学的方法。考察相关关系的方法有两种：当自变量是可以测量和控制的非随机变量时，采用回归分析（regression analysis）；如果自变量也是随机变量或不可控变量，采用相关分析（correlation analysis）。
二、一元线性回归模型
回归函数：设 x x x为可控变量， Y Y Y为与之相关的随机变量。当自变量 x x x取确定值时， Y Y Y有一确定的（条件）分布与之对应。如果 Y Y Y的数学期望存在，那么其取值随 x x x的取值而定，因而它是 x x x的函数，记为 μ ( x ) \mu(x) μ(x)，即 μ ( x ) = E ( Y ∣ x ) \mu(x)=E(Y|x) μ(x)=E(Y∣x)，则称 μ ( x ) \mu(x) μ(x)为 Y Y Y关于 x x x的回归函数。 函数关系： x 确定 ⟶ Y 的 取值 ‾ 唯一确定 回归分析： x 确定 ⟶ Y 的 分布 ‾ 唯一确定 \textcolor{orange}{\text{函数关系：}x\text{确定}\longrightarrow Y\text{的\underline{取值}唯一确定}}\\ \textcolor{green}{\text{回归分析：}x\text{确定}\longrightarrow Y\text{的\underline{分布}唯一确定}} 函数关系：x确定⟶Y的取值唯一确定回归分析：x确定⟶Y的分布唯一确定回归分析的基本任务是利用试验数据来估计 Y Y Y关于 x x x的回归函数 μ ( x ) \mu(x) μ(x)。
一元线性回归问题：设 Y Y Y关于 x x x的回归函数为 μ ( x ) \mu(x) μ(x)，若 μ ( x ) \mu(x) μ(x)为线性函数 μ ( x ) = a + b x \mu(x)=a+bx μ(x)=a+bx，此时估计 μ ( x ) \mu(x) μ(x)的问题称为一元线性回归问题。
一元线性回归模型：设 x x x是可控变量， Y Y Y是依赖于 x x x的随机变量，假定 { Y = a + b x + ε ε ~ N ( 0 , σ 2 ) \newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y=a+bx+\varepsilon\\ \varepsilon\td N(0,\sigma^2) \end{cases} {Y=a+bx+εε~N(0,σ2)其中未知参数 a , b , σ 2 a,b,\sigma^2 a,b,σ2都不依赖于 x x x，则称该模型为一元线性回归模型。
样本： ( x 1 , Y 1 ) , ( x 2 , Y 2 ) , ⋯ , ( x n , Y n ) (x_1,Y_1),(x_2,Y_2),\cdots,(x_n,Y_n) (x1,Y1),(x2,Y2),⋯,(xn,Yn)（ Y 1 , Y 2 , ⋯ , Y n Y_1,Y_2,\cdots,Y_n Y1,Y2,⋯,Yn是相互独立的随机变量）
样本值： ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),⋯,(xn,yn)
一元线性回归模型的样本形式： { Y i = a + b x i + ε i ε i ~ N ( 0 , σ 2 ) ( i = 1 , 2 , ⋯ , n ) , 且 ε 1 , ε 2 , ⋯ , ε n 相互独立 \newcommand{\td}{\,\text{\textasciitilde}\,}\begin{cases} Y_i=a+bx_i+\varepsilon_i\\ \varepsilon_i\td N(0,\sigma^2) \end{cases}\;(i=1,2,\cdots,n),\,\text{且}\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n\text{相互独立} {Yi=a+bxi+εiεi~N(0,σ2)(i=1,2,⋯,n),且ε1,ε2,⋯,εn相互独立经验回归直线方程：如果由 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),⋯,(xn,yn)得到了未知参数 a , b a,b a,b的估计值 a ^ , b ^ \hat{a},\hat{b} a^,b^，则对于给定的 x x x，我们可取 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x作为 μ ( x ) = a + b x \mu(x)=a+bx μ(x)=a+bx的估计值，而方程 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x称为 Y Y Y关于 x x x的经验回归方程。
三、 a , b a,b a,b和 σ 2 \sigma^2 σ2的估计
最小二乘法：已知变量 x , Y x,Y x,Y的 n n n对试验数据 ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x n , y n ) (x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n) (x1,y1),(x2,y2),⋯,(xn,yn)，其中 x i x_i xi不全相同，作离差平方和 Q ( a , b ) = ∑ i = 1 n ( y i − a − b x i ) 2 Q(a,b)=\sum\limits_{i=1}^n{(y_i-a-bx_i)}^2 Q(a,b)=i=1∑n(yi−a−bxi)2，选择参数 a , b a,b a,b使得 Q ( a , b ) Q(a,b) Q(a,b)最小，这种方法叫做最小二乘法。
为了求 Q ( a , b ) Q(a,b) Q(a,b)的最小值，需要使 ∂ Q ∂ a , ∂ Q ∂ b \cfrac{\partial Q}{\partial a},\cfrac{\partial Q}{\partial b} ∂a∂Q,∂b∂Q均为 0 0 0，即 { ∂ Q ∂ a = − 2 ∑ i = 1 n ( y i − a − b x i ) = 0 ∂ Q ∂ b = − 2 ∑ i = 1 n ( y i − a − b x i ) x i = 0 \begin{cases} \cfrac{\partial Q}{\partial a}=-2\sum\limits_{i=1}^n{(y_i-a-bx_i)}=0\\ \cfrac{\partial Q}{\partial b}=-2\sum\limits_{i=1}^n{(y_i-a-bx_i)}x_i=0 \end{cases} ⎩ ⎨ ⎧∂a∂Q=−2i=1∑n(yi−a−bxi)=0∂b∂Q=−2i=1∑n(yi−a−bxi)xi=0得方程组 { n a + b ∑ i = 1 n x i = ∑ i = 1 n y i a ∑ i = 1 n x i + b ∑ i = 1 n x i 2 = ∑ i = 1 n x i y i \begin{cases} na+b\sum\limits_{i=1}^n x_i=\sum\limits_{i=1}^n y_i\\ a\sum\limits_{i=1}^n x_i+b\sum\limits_{i=1}^n x_i^2=\sum\limits_{i=1}^n x_iy_i \end{cases} ⎩ ⎨ ⎧na+bi=1∑nxi=i=1∑nyiai=1∑nxi+bi=1∑nxi2=i=1∑nxiyi上式称为正规方程组。其系数行列式为 ∣ n ∑ i = 1 n x i ∑ i = 1 n x i ∑ i = 1 n x i 2 ∣ = n ∑ i = 1 n x i 2 − ( ∑ i = 1 n x i ) 2 = n ∑ i = 1 n ( x i − x ‾ ) 2 \begin{vmatrix} n&\sum\limits_{i=1}^n x_i\\ \sum\limits_{i=1}^n x_i&\sum\limits_{i=1}^n x_i^2 \end{vmatrix}=n\sum\limits_{i=1}^n x_i^2-{\left(\sum\limits_{i=1}^n x_i\right)}^2=n\sum\limits_{i=1}^n{\left(x_i-\overline{x}\right)}^2 ni=1∑nxii=1∑nxii=1∑nxi2 =ni=1∑nxi2−(i=1∑nxi)2=ni=1∑n(xi−x)2因为 x i x_i xi不完全相同，所以系数行列式不为 0 0 0，因此正规方程组有唯一解，得 a , b a,b a,b的估计值为 { b ^ = S x y S x x = x ˉ y ˉ − x y ‾ x 2 ‾ − x ‾ 2 a ^ = y ‾ − b ^ x ‾ \begin{cases} \hat{b}=\cfrac{S_{xy}}{S_{xx}}=\cfrac{\bar{x}\bar{y}-\overline{xy}}{\overline{x^2}-\overline{x}^2}\\ \hat{a}=\overline{y}-\hat{b}\overline{x} \end{cases} ⎩ ⎨ ⎧b^=SxxSxy=x2−x2xˉyˉ−xya^=y−b^x其中 S x y = ∑ i = 1 n ( x i − x ‾ ) ( y i − y ‾ ) S_{xy}=\sum\limits_{i=1}^n \left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right) Sxy=i=1∑n(xi−x)(yi−y)， S x x = ∑ i = 1 n ( x i − x ‾ ) 2 S_{xx}=\sum\limits_{i=1}^n{\left(x_i-\overline{x}\right)}^2 Sxx=i=1∑n(xi−x)2。
于是，所求的经验回归方程为 y ^ = a ^ + b ^ x \hat{y}=\hat{a}+\hat{b}x y^=a^+b^x。若把 a ^ = y ‾ − b ^ x ‾ \hat{a}=\overline{y}-\hat{b}\overline{x} a^=y−b^x代入经验回归方程方程，则经验回归直线方程为 y ^ = y ‾ − b ^ x ‾ + b ^ x = y ‾ + b ^ ( x − x ‾ ) \hat{y}=\overline{y}-\hat{b}\overline{x}+\hat{b}x=\overline{y}+\hat{b}\left(x-\overline{x}\right) y^=y−b^x+b^x=y+b^(x−x)，这表明经验回归直线方程过散点图的几何中心 ( x ‾ , y ‾ ) \left(\overline{x},\overline{y}\right) (x,y)。
下面求 σ 2 \sigma^2 σ2的估计。令 y ^ i = a ^ + b ^ x i ( i = 1 , 2 , ⋯ , n ) \hat{y}_i=\hat{a}+\hat{b}x_i\,(i=1,2,\cdots,n) y^i=a^+b^xi(i=1,2,⋯,n)，称 y i − y ^ i y_i-\hat{y}_i yi−y^i为 x i x_i xi处的残差，称 Q e = ∑ i = 1 n ( y i − y ^ i ) 2 = ∑ i = 1 n ( y i − a ^ − b ^ x i ) 2 Q_e=\sum\limits_{i=1}^n{\left(y_i-\hat{y}_i\right)}^2=\sum\limits_{i=1}^n{\left(y_i-\hat{a}-\hat{b}x_i\right)}^2 Qe=i=1∑n(yi−y^i)2=i=1∑n(yi−a^−b^xi)2为残差平方和。事实上 Q e = Q ( a ^ , b ^ ) Q_e=Q\!\left(\hat{a},\hat{b}\right) Qe=Q(a^,b^)就是 Q ( a , b ) Q(a,b) Q(a,b)的最小值。可以证明， σ 2 \sigma^2 σ2的无偏估计量为 σ 2 ^ = Q e n − 2 \hat{\sigma^2}=\dfrac{Q_e}{n-2} σ2^=n−2Qe。
Q e Q_e Qe还可以通过另一种方式计算： Q e = S y y − ( b ^ ) 2 S x x Q_e=S_{yy}-{\left(\hat{b}\right)}^2S_{xx} Qe=Syy−(b^)2Sxx，其中 S y y = ∑ i = 1 n ( y i − y ‾ ) 2 S_{yy}=\sum\limits_{i=1}^n{\left(y_i-\overline{y}\right)}^2 Syy=i=1∑n(yi−y)2。
总结一下公式： y ^ = a ^ + b ^ x b ^ = S x y S x x a ^ = y ‾ − b ^ x ‾ σ 2 ^ = Q e n − 2 = 1 n − 2 [ S y y − ( b ^ ) 2 S x x ] \boxed{\begin{aligned} \hat{y}&=\hat{a}+\hat{b}x\\ \hat{b}&=\cfrac{S_{xy}}{S_{xx}}\\ \hat{a}&=\overline{y}-\hat{b}\overline{x}\\ \hat{\sigma^2}&=\cfrac{Q_e}{n-2}=\cfrac{1}{n-2}\left[S_{yy}-{\left(\hat{b}\right)}^2S_{xx}\right] \end{aligned}} y^b^a^σ2^=a^+b^x=SxxSxy=y−b^x=n−2Qe=n−21[Syy−(b^)2Sxx]
四、可化为一元线性回归的模型
1. Y = α e β x ⋅ ε , ln ε ~ N ( 0 , σ 2 ) Y=\newcommand{\td}{\,\text{\textasciitilde}\,}\alpha e^{\beta x}\cdot\varepsilon,\,\ln\varepsilon\td N(0,\sigma^2) Y=αeβx⋅ε,lnε~N(0,σ2)
其中 α , β , σ 2 \alpha,\beta,\sigma^2 α,β,σ2是与 x x x无关的未知参数。
等式两边取对数得 ln Y = ln α + β x + ln ε Y ′ = a + b x + ε ′ \begin{aligned} \ln Y&=\ln\alpha+\beta x+\ln\varepsilon\\ Y'&=a+bx+\varepsilon' \end{aligned} lnYY′=lnα+βx+lnε=a+bx+ε′其中 Y ′ = ln Y , a = ln α , b = β , ε ′ = ln ε Y'=\ln Y,\,a=\ln\alpha,\,b=\beta,\,\varepsilon'=\ln\varepsilon Y′=lnY,a=lnα,b=β,ε′=lnε。
2. Y = α + β h ( x ) + ε , ε ~ N ( 0 , σ 2 ) Y=\alpha+\beta h(x)+\varepsilon,\,\varepsilon\newcommand{\td}{\,\text{\textasciitilde}\,}\td N(0,\sigma^2) Y=α+βh(x)+ε,ε~N(0,σ2)
其中 α , β , σ 2 \alpha,\beta,\sigma^2 α,β,σ2是与 x x x无关的未知参数， h ( x ) h(x) h(x)是 x x x的已知函数。
令 a = α , b = β , x ′ = h ( x ) a=\alpha,\,b=\beta,\,x'=h(x) a=α,b=β,x′=h(x)，则转化为一元线性回归模型 Y = a + b x ′ + ε Y=a+bx'+\varepsilon Y=a+bx′+ε