PLSR(偏最小二乘回归浅析)

      • 问题描述
    • 算法步骤
      • 分别提取两变量组的第一对线性组合组成的向量
      • 建立回归
      • 迭代
      • 最后

英文原文:Partial Least Squares (PLS) Regression.
相关博客:偏最小二乘回归

问题描述:

在实际问题中,经常会有多维回归预测问题,最小二乘法求解 θ=(XTX)1XTY : 对于样本数m比样本的维度n要少的情况时, XTX 为奇异矩阵,方程将有无穷多解,此时无法求解出实际的正确解。此时可以根据数据之间的相关性进行降维,主成分分析(PCA)是一种普遍利用的方法,不过在有标签并且要做回归的情况下,PLS更加适合此类问题。

算法步骤

首先定义数据 ,假设已经获得了归一化之后的数据以及对应的标签
X0=x11x21...xn1x12x22...xn2............x1mx2m...xnm,Y0=y11y21...yn1y12y22...yn2............y1py2p...ynp

其中,样本数量为n个,X为m维数据,Y为p维标签
偏最小二乘回归分析建模的具体步骤如下:

分别提取两变量组的第一对线性组合组成的向量:

这里不用得分向量那种大部分文献常用的方法,来说一种比较简洁的计算方法,直接在数据矩阵当中提取主成分,
t1=x1w11+...+xmw1n=Xw1,X=(x1,...,xm)
u1=y1v11+...+ypv1p=Yv1,Y=(y1,...,yp)
t1 是m个n维的数据向量(列向量)的线性组合(每一个向量长度为样本数量), u1 是p个n维的标签列向量的线性组合,其中 w1 , v1 为单位向量,各自尽可能多地体现其组成成分的信息。
t1 u1 的相关程度达到最大
问题化为求单位向量 w1 , v1 ,,使 θ=wT1XTYv1 达到最大。

{max:wT1w1<t1,u1>=<Xw1,Yv1>=wT1XTYv1=w12=1,vT1v1=v12=1

根据PCA原理 XTY 的主成分,就是计算 XTY 的协方差矩阵 M=XTYYTX 的特征值和特征向量,源矩阵和转置矩阵的特征值相同(这里求 M=YTXXTY 是一样的,特征值相同,只是特征向量差了乘 YTX 的线性变换)
M 的最大特征值为θ2 ,相应的单位特征向量就是所求的 w1 , v1 可以通过 w1 计算 v1=1θ1YTXw1

建立回归

建立 Y=(y1,...,yp) t1 的回归及 X=(x1,...,xm) t1 的回归模型:

{X0Y0=t1α1+X1=t1β1+Y1

由于 和 相关性上已经达到最大化( t1 u1 ),这里使用 t1 替换 u1 对Y进行回归,从而之后间接用X的成分对Y进行回归。其中 α1=(α11,...,α1m),β1=(β11,...,β1p) 分别是多对一的回归模型中的参数向量, X1 Y! 是残差阵。回归系数向量 α , β 的最小二乘估计为
α1β1=tT1X0t12=tT1Y0t12

迭代

如果残差范数不满足要求的阈值,则用残差阵 X1 Y! 代替 X0 Y0 重复以上步骤。
w2=(w21,...,w2m),v2=(v21,...,v2p) 分别为第二对单位向量。
t2=Xw2,u2=Yv2 第二对成分的线性组合。
β2=tT2Y1t22 , β2=tT2Y1t22 分别为 X ,Y 的回归模型中第二对成分的参数向量,这时可以得到:

{X0Y0=t1α1+t2α2+X2=t1β1+t2β2+Y2

误差矩阵的范数满足一定条件则可以停止,最多可以存在r个成分X(数据阵)的秩
{X0Y0=t1α1+t2α2+...+trαr+Xr=t1β1+t2β2+...+trβr+Yr

这里与PCA中表达式不一样的是这里成分向量之间没有正交的要求。

最后


tk=Xwk=x1wk1+...+xmwkn,k=(1,2,...,r)
带入到
Y0=t1β1+t2β2+...+trβr
当中。即可得到p个标签的偏最小二乘回归方程。
Y0=Xw1β1+Xw2β2+...+Xwrβr+Yr=Xp1+Xp2+...+Xpr
pk=wkβk , k=(1,...r)

你可能感兴趣的:(学习笔记,算法,pls,回归预测,降维,线性代数)