一元线性回归

一元线性回归

昨天简单的写了一下回归模型、参数假设和参数估计的办法，今天学习参数的性质和极大似然估计。

参数 β1、β2的性质

因为y是随机变量，组成y的β1、β2也是随机变量。那么β1、β2也有概率分布、均值、方差、协方差。

• 线性
  β1、β2是关于y的线性函数
• 无偏性
  • E(y) = y_mean
  • E(β1) = β1
  • E(β2) = β2

β1、β2都是无偏估计，其意义在于屡次更改数据，反复求β1、β2的估计量，这两个估计量都没有高估或低估的系统趋势。

• β1 、β2的方差
  • var(β1) = σ^2 / sum((x_i - x)^2)
  • var(β2) = [1/n + x^2 / sum((x_i - x)^2)] * σ^2
  • cov(β1，β2) = -x / Lxx * σ^2
    Lxx = sum((x_i - x_mean)^2)

由var(β1)、var(β2)我们知道β1不仅与σ^2 有关，还与x的离散程度有关。β2不仅与σ^2、x的离散程度有关，还与数据量n有关。那么在收集数据时就应该注意x的值应该尽可能分散、样本量应该大一些。
在之前的模型假设中有这样两个条件：E(ε) = 0 、Cov(ε1,ε2) = 0。而他们对应的是高斯-马尔可夫条件：

• E(ε_i) = 0 ， i =1,2,3,4....
• Cov(ε_i,ε_j) = { σ^2 ，i == j }、{ 0，i != j } ，i、j = 1,2,3,4....

在此条件下可以得出β1、β2是最佳线性无偏估计(BLUE)，也称最小方差线性无偏估计
最后在固定x0的情况下y0 = β1 * x0 + β2，y0的方差随给定的x0与x_mean的距离增大而增大。那么在实际中应用回归方程进行控制与预测时，给定x0不能太偏离x_mean，否则效果不理想。

极大似然估计

极大似然估计其实就是对于发生的事件是当作概率最大的看待。
极大似然估计最后求出来的是β1、β2、σ^2。而β1、β2估计出来的值与最小二乘一样就不做阐述。 σ^2 = sum(e_i^2) / n ，e是残差。这个估计量是有偏估计。