等价のGLS, 2SLS, IV ？

​在前面的最小二乘法讲解中 （回归分析中的问题和修正的探讨（下篇），最小二乘法的6个假设 (中篇)）， 有遇到广义最小二乘法GLS 、2阶段最小二乘法2SLS、和工具变量IV。这里探讨一下， 这三个方法在某些情况下的等价性。

引言

数学背景好的GLS

Alexander Aitken是新西兰伟大的数学家， 在1935年， 他是爱丁堡大学University of Edinburgh的博士，当时就研究数据的平滑 Smoothing of Data，  之后搞精算数学和统计。广义最小二乘法GLS就是他发明的。

经济+统计的IV

Philip Green Wright在1928年就阐述了基本思想，用在回归方法论上， 但是知道1945年才被Olav Reiersøl， 一个挪威的经济学家，在他的博士毕业论文中，正式用来定位为处理变量误差的经典方法。

Wright毕业于Tufts College的本科， 哈佛的经济学博士，后来又回到Tufts当社会经济学教授。 Tufts特意收集了他的照片墙， 来纪念他发明了工具变量。

经济基因的2SLS

2阶段和3阶段最小二乘法 2SLS/3SLS都是经济学家Henri Theil发明的（1953年和1962年）。Theil是荷兰乌特勒支大学Utrecht University发物理出身的， 战后1951年在阿姆斯特丹大学University of Amsterdam转学经济。 年轻的时候超级帅。

他有句名言，就是模型是被用的，而不是被信的。

所以， 按发明时间来说，IV最早被发明(1928年)， GLS其次(1935)，而2SLS是最晚的(1953)。可能跟线性代数的发展历史有一定关系， 是因为IV建立在相关性基础上， 但是GLS需要方差矩阵表示的发展， 而2SLS需要线性方程组的发展基础。 所以说线性代数在经济和统计的学习中也很为重要。

IV 形式

一般情况下工具变量的要求就是和误差不相关：

还可以进一步宽松到(Z^T)X伪逆的情况下：

2SLS 形式

第一阶段：

第二阶段， 先在X估计上按OLS计算 ：

根据第一阶段的结果， 带入X的估计值：

化简，得到不含X估计值的表达式：

流程总结如下：

IV 等价为 2SLS

先看一下， 推导过程中的变化， 从IV到2SLS：

其中这里面出现的Pz是投影矩阵，具有如下性质：

是不是有点像单位矩阵的性质？对的，这就是投影矩阵。

从图形上理解， 由于E(XU) = 0 不成立， 所以需要投影到垂直的方向上去， 一种方法是直接找一个工具变量去做，好比找到一个垂直的面，然后随便确定垂直面上一个， 而另外一种方法，就是先找到一个投影矩阵先， 然后再投影得到这个变量。

那么这两种方法有什么本质的差别么？

有的，工具变量方法(Z^T) X 并不是方阵的时候，也就是两者Rank可能并不一致的时候， 那么这时候两阶段2SLS依然可以使用， 存在一个寻优的过程。

如果一致的情况下， 那么IV和2SLS没有本质的区别。   其实，这也可以看成是矩估计MME和广义矩估计GMM的差异。 如果这么来说的话， 那么2SLS可以看成是IV的一种泛化。

2SLS等价为GLS

从形式上， 2阶段最小二乘法很容易看成是广义最小二乘法。 但是， 这是有要求的，但是含义却完全不一样了。

不过，对于自相关的情况下，

变换到如下形式后， 计算2SLS还是可以的。

这种情况下， 两者是等价的， 只是最后在2SLS里面投影完成后的效果， 和GLS里面标准化之后的效果是一致的。

但是两边的X的内容已经完全不一样了， 在2SLS里面是变换过后的X了。

小结：

所以， 一般情况下，尽管2SLS 和 GLS 形式上非常类似， 但是其实解决的问题还是蛮不一样的，2SLS和IV形式上有差距， 但是解决问题还是蛮一致的。  另外也凸显了2SLS强大的能力。

我们通过引入IV、GLS、2SLS的等价性变换的讨论， 让大家更深入了解这些工具的特征。

关键词：

Instrumental Variable

Generalized Least Square

2 Stage Least Square

Alexander Aitken

Philip Green Wright

Henri Theil

相关话题：

最小二乘法的6个假设 (上篇)

最小二乘法的6个假设 (中篇)

一步一步走向锥规划 - 最小二乘法

最小二乘法的4种求解

回归分析中的问题和修正的探讨（上篇）

回归分析中的问题和修正的探讨（下篇）

评价参数估算的常用指标

最大似然估计的2种论证

Z-Test vs T-Test vs F-Test vs χ2-Test

特征选择， 经典三刀

数据变换

Lasso简史

信息熵的由来

“66天写的逻辑回归” 引

乔丹上海行

随机眼里的临界

参考：

https://ase.tufts.edu/economics/news/highlightsWright.htm

http://ajbuckeconbikesail.net/notes/sysestimat/sysestimat.HTM