一元线性回归模型

一元线性回归模型

一元线性回归模型表示如下

(1)

上式表示变量和之间的真实关系。其中称作被解释变量（或相依变量、因变量），称作解释变量（或独立变量、自变量），称作随机误差项，称作常数项（截距项），称作回归系数。
一般假定是不可观测的随机误差，它是一个随机变量，通常假定满足

对式（1）两边求期望，得

​ , （3）

称式（3）为回归方程。

• 可以理解为 ε 对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分 β0 + β1x 已经确定，现在只有 ε 对 y 产生影响，在 x = x0， ε = 0即除x以外其他一切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中 ε 不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果， ε 对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他一切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即 ε 对 y 的综合影响是一个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被 β0 捕获，从而变为公式（3）；若 E(ε) = 变量，则说明 ε 在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作用。

• ：因为所有的样本点并不是完全在回归直线上（即 x 与 y 的关系不是确定的函数关系），所以 ε 的方差一定不为0，Var(ε) = σ2的意义为在不同 x 下， ε 对 y 产生同样的波动，是为了后续计算方便，若 ε 的方差对 y 产生的波动随 x 变化，那么需要分析这种变化及其产生的一系列问题。对于x随机误差ε 的方差不变,也就是说随机误差项对于每一个样本点的方差是固定不变的(同方差性)

• 随机误差项彼此不关联,协方差等于零

• 是确定性变量,不是随机变量,与随机误差项之间相互独立(不相关)(不相关一定不关联).

---

---

回归参数 , 的估计

普通最小二乘估计（ordinary least squares estimate, OLSE）

为了得到回归系数的理想估计值，使用OLSE（因为OLSE和方差都是差方和的形式）。对每一个样本观测值（,），最小二乘法考虑观测值与其回归值

回归值

的离差越小越好，综合地考虑n个离差值，定义离差平方和为

（10）

可以看到其回归值是期望值，这里使用到条件.

最小二乘法，就是寻找参数 , 的估计值

估计值

，使式（10）定义的离差平方和达极小，即寻找

估计值

满足

（11）

依照式（11）求出的

估计值

就称为回归参数 , 的最小二乘估计。称

（12）

为(i = 1, 2,...,n)的回归拟合值，简称回归值或拟合值。称

（13）

为(i = 1, 2, ..., n)的残差。

离差和残差：
在本文中离差和残差的公式都是真实值与估计值之间的差，但是，离差是在回归方程得到之前定义的，不能直接得到，通过离差平方和最小来求得回归系数从而得到回归方程，可以将离差看作是风险程度，使离差平方和最小即为使总风险最小。残差是在回归方程得到后定义的，可以直接得到具体数值，若没有回归方程就不存在残差的概念，残差平方和度量了n个样本点观测值到回归直线的距离大小，可以视为随机误差的效应。残差用于研究模型的适用性，也是探测是否违背基本假设的评测量之一。

---

---

线性函数
一个函数是线性函数,需满足下面条件:

条件

非线性函数
不是线性函数的函数

线性模型
函数的线性组合就是线性模型

线性模型

非线性模型
不是线性模型的模型

例如：

li1

：非线性模型

li2

：线性模型

li3

：非线性模型