机器学习笔记_回归_4: 最小二乘的改进(1)

局部加权回归

岭回归(ridge regression)RR（稀疏矩阵）

• 针对多重共线性 |XTX|≈0 :β^=(XTX+kI)−1XTy
  k:岭参数 =>得到 β 参数的估计族
  有偏估计

• 岭迹： 参数 k在（0，+∞），则β^是k的参数，所有曲线是岭迹

• k的选择( MSE(β^) 最小)

PCR和偏最小二乘

补充内容：

Shrinkage Methods

• 岭回归

岭回归的求解 <=>

β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}

λ:岭参数

β^=(XTX+λI)−1XTy和β=(XTX)−1XTy

若x的列正交则 XTX=I =>

β^ridge=βj^1+λ
岭回归将系数缩小

Lasso

在rr的基础上可以选择变量

• RR等价于求解

  β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}

• Lasso等价于

β^lasso=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj}

=>

β^lasso=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2}
subject.to. λ∑j=1p|βj|≤t

关于lasso和RR的贝叶斯观点