≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记(四)

照例继续本周笔记。这次我没啥废话了...

--------------笔记开始---------------

投影矩阵与消灭矩阵

首先是上次没证的若干OLS性质。基本都是公式。我就照抄原来econometrics做的笔记了。权当复习了...对计量有兴趣的、线性代数还不错的,建议去看《Microeconometrics- Methods and Applications》(?A. Colin Cameron / Pravin K. Trivedi )。

先定义两个矩阵,这两个矩阵会在某种程度上save your life while learning econometrics...投影矩阵和消灭矩阵。

复习一下,OLS估计量是 β^=(XX)1XY,然后对应的Y估计量是Y^=Xβ^=X(XX)1XY。所以,我们定义投影矩阵P为P=X(XX)1X,这样就有了Y^=PY。也就是说,我们对Y进行了一次投影,然后得到了一个估计值。当然定义投影矩阵并不仅仅是写起来比那堆X简单,而是投影矩阵本身有着一系列良好的性质。

我们先来看把P投在X上会怎么样。显然,PX=X(XX)1XX=X,也就是说P不会改变X的值(本来就是把一个东西投到X上嘛~自己投自己怎么会有变化的嘛)。

然后呢,对P进行转置,则P=(X(XX)1X)=P,所以接下来P2=PP=X(XX)1XX(XX)1X=P

再定义消灭矩阵M。很简单,我们定义M为M=IP=IX(XX)1X,其中I为单位阵(对角线元素为1,其他为0)。这样M又有什么性质呢?显然MY=(IP)Y=YY^=ε,也就是说M对Y的效果是得到误差项。而与此同时,M对于X的作用就是MX=(IP)X=XX=0,所以称为消灭矩阵嘛。继续,进行转置,则M=(IP)=IP=M,所以我们还有M2=MM=(IP)(IP)=IPP+P=IP=M

OLS估计值的方差

再次友情提醒,X不是随机变量,所以不要跟我纠结为什么没有条件期望公式之类的东西...

扰动项服从N(0,σ)时,或者大样本下,OLS估计量的方差为:

Var(β^)=E[(β^β)(β^β)]=E[(XX)1Xε][(XX)1Xε]=(XX)1E(εε)=s21(XX)1

这里=s21为样本方差,所以其分布为: β^N(β,s21(XX)1)。这样一来,就有了一个t检验:

t=β0s21(XX)1tNK1

大样本下,就直接用正态检验好了。此外,如果我们进一步的有更多的同时检验的约束条件,那就是联合检验F。这个就不赘述了...

高斯-马尔可夫定理

顺便还证了一下高斯-马尔可夫定理...这个不像OLS,每次我可记不住他的证明,每次都是现翻书...

我就直接抄wiki了。

选择另外一个线性估计量β~=CY,然后C可以写为 (XX)1X+D,则D为k*n的非空矩阵。

那么这个估计量β~的期望是 :

E(CY)=E(((XX)1X+D)(Xβ+ε))=((XX)1X+D)Xβ+((XX)1X+D)E(ε)0=(XX)1XXβ+DXβ=(Ik+DX)β.(1)(2)(3)(4)

所以,为了保证β~ 无偏,则必有DX=0 .

继续求方差:

V(β~)=V(CY)=CV(Y)C=σ2CC=σ2((XX)1X+D)(X(XX)1+D)=σ2((XX)1XX(XX)1+(XX)1XD+DX(XX)1+DD)=σ2(XX)1+σ2(XX)1(DX0)+σ2DX0(XX)1+σ2DD=σ2(XX)1V(β^)+σ2DD.(5)(6)(7)(8)(9)

DD是一个半正定矩阵,V(β~)肯定要比V(β^)大~得证。

变量选择与收缩方法

为了降低测试误差(减少函数的复杂度),有时候会放弃无偏性而进行变量选择。这里首先就是Ridge OLS(岭回归)。还是算一下这个东西好了。

岭回归就是对估计量另外加一个约束条件,所以很自然的想到拉格朗日乘子法。ridge regression的目标函数为,

β^=argmin(yy^)2s.t.β^2k

可以重写为

β^=argmin((yy^)2+λ(β^2k))

L=(yy^)2+λ(β^2k)

这样我们就得到两个一阶条件:

Lβ=X(Xβ^Y)+λβ^=0Lλ=β^2k=0,所以有:

β^=(XX+λI)1XY

这里还可以看出,λ的取值都是对应k的。

Lasso则是把L2改成L1,已经没有解析解了...

至于为什么叫收缩方法,可以将X进行奇异值分解,然后可以得出Y^ridge的方差将变小...我就不写证明了,感觉这一块儿讲的也不是很透彻。

你可能感兴趣的:(统计学精要)