继续关注回归和最小二乘法OLS

Method of Moments

上一篇文章计量经济学和一些回归知识里面求 β1 的估计值，我只给出了一个公式；套这个公式有一种可以逼格升高的说法，叫做“使用Method of Moments“，只是个名词，知道下就可以了。文章里说通过 β1 就可以求得 β0 ，事实确实是这样的，但具体怎么求读者可能就迷糊了，这里来细讲一下。

整一个Method of Moments, 最开始的根据就是一个等式：

y¯=β0^+β1^x¯

变量上方加一个”bar” 表示平均值， 加一个”hat”表示估计值。这两个值很好理解，要用回归肯定有一组数据，简单的回归模型数据只有 x 和 y ，于是 x¯ 那就是所有的 x 求平均， y¯ 就是所有的 y 求平均，很容易算；估计值如果你没有学过概率论的话，可能有点陌生，但都要学计量经济学了，谁还不懂点概率论啊；话说回来，我们这个方法的目的就是要求出 β0,β1 的值，不是求出，是估计出，这个措辞的改变就是统计学和数学的区别了，统计学是不确定的，数学是确定的，估计出的值都叫做估计值；好，说了这么多，你再回去看上面的公式，是不是就知道在知道 β1^ 情况下，如何求 β0^ ?简单的移项就搞定了。

Gause-Markov Theorem

这个定理的中文名叫做高斯-马尔科夫定理，我总结了一下，这个定理的主要内容就是：最小二乘法，好好好！！！

老师的说法是：最小二乘法OLS，可以求出最小方差、线性无偏估计量；我改个说法，最小二乘法，又稳又准！方差小说明稳定，无偏(unbiased)说明准确。

标准高斯-马尔科夫定理有四个著名假设，都是适用在简单线性回归上的，变量只有一个，比较适合我们初学者。我不打算把所有的定理都写下来了，因为各种教材上都能查到，我就写点我自己的理解。

y=β0+β1x+u

在 β0,β1 确定的情况下，我们可以在平面直角坐标系上面画出一条直线，这是用来拟合数据的。实际中极少出现所有的点都落在线上，于是每一个数据点和直线就都存在距离，这个距离我们用 u 来表示。如果每个数据点用 (xi,yi) 来表示的话，对应也会有一个 ui , 于是上式更新为：

yi=β0+β1xi+ui

一个重要的假设就是 ui 的均值等于0， 写得冠冕堂皇一点就是： E(u)=0 .

第二个重要假设就是 ui 和 xi 是不相关的。举个具体例子来说，如果我们研究收入和消费的关系，令自变量为收入，因变量为消费，我们假设他们是线性关系，用最小二乘法估计出了两个参数，然后把拟合的曲线画了出来，一种可能出现的 ui 和 xi 相关的情况就是，当收入很小的时候，那些数据点非常靠近直线，即穷人，消费占收入的比例较为固定，收入增加了，消费也很迅速地随着收入一起增加，当收入大的时候，很多富人的消费就不尽相同了，这个时候偏差 ui 就会比较大；假设他们不相关，就是想说明这种情况是不存在的，这简化了问题，方便我们去认识回归分析。

最小二乘法的指标

那么最小二乘法好不好呢，好！究竟如何好？我们需要一些指标来测算一下。

拟合优度检验

中文比较拗口，英文名是：Goodness-of-Fit, 就是拟合得好不好。指标用 R2 来表示，在0和1的范围内，越接近1，拟合效果越好，计算方法如下：

R2=β21^(∑x2i∑y2i)