PLS系列004 多因变量非线性PLS

1 多因变量非线性PLS[不是拟线性方法]

1.1 计算推导

在PLS进行之前，首先要进行预备分析，目的是判断自变量(因变量)是否存在多重共线性，判断因变量与自变量是否存在相关关系，进而决定是否需要采用PLS方法建模，具体计算方法：记矩阵$Z=(X,Y)$，求$Z$的各列数据之间的简单相关系数。然后考虑是否采用PLS，若采用：
①样本数据$X$与$Y$标准化预处理
②记$t_1$是$X$的第1个成分有$t_1=X{w}_1$，其中$w_1$是$X$的第1个轴(单位列向量即$\Vert w_1\Vert \text{=}1$)。
$u_1$是$Y$的第1个成分有$u_1=Y{v}_1$，其中$v_1$是$X$的第1个轴(单位列向量即$\Vert v_1\Vert \text{=}1$)。
$t_1$、$u_1$为列向量，行数为$n$，即正好是样本集合数。
$w_1$为列向量，行数为$p$，即正好是自变量个数
$v_1$为列向量，行数为$q$，即正好是因变量个数
$t_1$和$u_1$满足(1)中两个条件则有：
变异信息最大：$Var(t_1)\to \max ,Var(u_1)\to \max$
相关程度最大：$r(t_1,u_1)\to \max$
综合可得协方差最大：$Cov(t_1,u_1)=r(t_1,u_1)\sqrt{Var(t_1)Var(u_1)}\to \max$
由于$\frac{1}{n}<X{w}_1,Y{v}_1>=Cov(t_1,u_1)$且$n$为常数，则：
$$\begin{array}{rl}& \max <X{w}_1,Y{v}_1>={(X{w}_1)}^{T}Y{v}_1=w_{{}_1}^T{X}^{T}Y{v}_1\\ & s.t\{\begin{array}{c}{w}_{{}_1}^T{w}_1={\Vert w_1\Vert }^2=1\\ v_{{}_1}^T{v}_1={\Vert v_1\Vert }^2=1\end{array}\end{array}$$
根据拉格朗日算法有：
$$f=w_{{}_1}^T{X}^{T}Y{v}_1-\lambda (w_{{}_1}^T{w}_1-1)-\mu (v_{{}_1}^T{v}_1-1)$$
对$f$分别求关于$w_1,v_1,\lambda ,\mu$的偏导且置0(求)，有：
$$\{\begin{array}{c}\frac{\partial f}{\partial w_1}=X^{T}Y{v}_1-2\lambda w_1=0\\ \frac{\partial f}{\partial v_1}=Y^{T}X{w}_1-2\mu v_1=0\\ \frac{\partial f}{\partial \lambda }=-(w_{{}_1}^T{w}_1-1)=0\\ \frac{\partial f}{\partial \mu }=-(v_{{}_1}^T{v}_1-1)=0\end{array}$$
由上式可推出：
$$2\lambda =2\mu =w_{{}_1}^T{X}^{T}Y{v}_1={(X{w}_1)}^{T}Y{v}_1\text{=}<X{w}_1,Y{v}_1>$$
记${\theta }_1=2\lambda =2\mu =w_{{}_1}^T{X}^{T}Y{v}_1$,则${\theta }_1$是优化问题的目标函数且使是${\theta }_1$达到最大必须有有：
$$\{\begin{array}{rl}& X^{T}Y{v}_1={\theta }_1{w}_1\\ & Y^{T}X{w}_1\text{=}{\theta }_1{v}_1\end{array}$$
将上面组合式结合得：
$$X^{T}Y(\frac{1}{{\theta }_1}{Y}^{T}X{w}_1)={\theta }_1{w}_1\Rightarrow X^{T}Y{Y}^{T}X{w}_1={\theta }_{{}_1}^2{w}_1$$
同理可得：
$$Y^{T}X{X}^{T}Y{v}_1={\theta }_{{}_1}^2{v}_1$$
可见，$w_1$是矩阵$X^{T}Y{Y}^{T}X$的特征向量，对应的特征值为${\theta }_{{}_1}^2$。${\theta }_1$为目标函数值且为最大。则$w_1$是$X^{T}Y{Y}^{T}X$的最大特征值${\theta }_{{}_1}^2$的单位特征向量（列向量）。同理，$v_1$是$Y^{T}X{X}^{T}Y$最大特征值${\theta }_{{}_1}^2$的单位特征向量（列向量）。
我们通过求得$w_1$和$v_1$之后即可得到第1成分：
$$\{\begin{array}{rl}& t_1=X{w}_1\\ & u_1=Y{v}_1\end{array}$$
由(1)式我们可以进一步推导出：
$${\theta }_1\text{=}<t_1,u_1>=w_1^T{X}^{T}Y{v}_1$$

然后分别进行$X$、$Y$对$t_1$的非线性回归(这里$Y$对$t_1$的非线性回归)：
$$\{\begin{array}{rl}& X=g\left(t_1\right)+X_1\\ & Y=f\left(t_1\right)+Y_1^{}\\ & Y=\psi \left(u_1\right)+Y_1^{\ast }\end{array}$$
另外，$X_1$、$Y_1$则为$X$、$Y$的残差信息矩阵。(回归系数向量可利用PLS回归性质推导？)
在PLS方法中，我们称$w$为模型效应权重(Model Effect Weights)，$v$为因变量权重(Dependent Variable Weights)，$p$为模型效应载荷量(Model Effect Loadings)。 模型效应指的就是X即自变量O(∩_∩)O哈哈~
得分向量$t$，载荷向量$p$，权重向量$w$.
[注意]在上面3个非线性回归方程中，Y对u的非线性回归方程在后面计算中不再接触到，因此，不会再求解这个方程。
③用残差信息矩阵$X_1$、$Y_1$取代$X$、$Y$，求第2个成分$t_2$、$u_2$和第2个轴$w_2$、$v_2$，即：
$$\{\begin{array}{rl}& t_2=X_1{w}_2\\ & u_2=Y_1{v}_2\end{array}$$
$${\theta }_2=<t_2,u_2>=w_2^T{X}_1^T{Y}_1{v}_2$$

$w_2$是对应于矩阵$X_1^T{Y}_1{Y}_1^T{X}_1$最大特征值${\theta }_2$的特征向量（列向量），$v_2$是对应于矩阵$Y_1^T{X}_1{X}_1^T{Y}_1$最大特征值的特征向量（列向量），于是回归方程：
$$\{\begin{array}{rl}& X_1=f\left(t_2\right)+X_2\\ & Y_1=g\left(t_2\right)+Y_2\end{array}$$
④如此利用剩下的残差信息矩阵不断迭代计算，我们假设$X$的秩为$m$(即可以有A个成分)：
$$\{\begin{array}{rl}& X=g\left(t_1\right)+g\left(t_2\right)+\cdots +g\left(t_m\right)+X_m\\ & Y=f\left(t_1\right)+f\left(t_2\right)+\cdots +f\left(t_m\right)\text{+}{Y}_m\end{array}$$

1.2 简化算法

在上面的非线性偏最小二乘模型计算过程中，每次求出主成分后，都需要求出自变量数据集和主成分之间的非线性回归，如提取第1个主成分$t$后，计算$X=g\left(t_1\right)+X_1$，这里$t_1$是$X$中提取出来的主成分，并且是线性的，即$t_1$是自变量数据集的线性组合，反之，自变量数据集同时也是$t_1$的线性组合，因此，$X=g\left(t_1\right)+X_1$进行的非线性关系方程其实本质上是一个线性回归方程，因此，在后面的计算中，$X$对主成分的回归可简化为线性回归。即$X=t_1{p}_1^T+X_1$，再次进行推导有：
$$\{\begin{array}{rl}& X=g\left(t_1\right)+X_1\leftrightarrow X=t_1{p}_1^T+X_1\\ & Y=f\left(t_1\right)+Y_1^{}\end{array}$$
其中
$$p_1=\frac{X^T{t}_1}{{\Vert t_1\Vert }^2}$$
$$\{\begin{array}{rl}& X=t_1{p}_1^T+t_2{p}_2^T+\cdots +t_m{p}_m^T+X_m\\ & Y=f\left(t_1\right)+f\left(t_2\right)+\cdots +f\left(t_m\right)\text{+}{Y}_m\end{array}$$
等价于
由于$w_h^{\ast }=\prod _{k=1}^{h-1}(E-w_k{p}_k^T)w_h\&t_h=X{w}_h^{\ast }$ (性质)则有：
$$\begin{array}{rl}& Y=f\left(t_1\right)+f\left(t_2\right)+\cdots +f\left(t_m\right)+Y_m\\ & =f(X{w}_1^{\ast })+f(X{w}_2^{\ast })+\cdots +f(X{w}_m^{\ast })+Y_m\end{array}$$
【注意】
对于主成分个数的判定，不会完全提取全部$A$个主成分（$A$为原始自变量数据集的秩），一般情况下，提取的前$m$个主成分能够代表自变量原始数据的绝大部分比例数据信息就可停止后续计算步骤，或者残差信息比较小时也可停止计算步骤。两者代表的意义是相同的。因此，在一般的案例实证分析中，一般要求对原始自变量数据集提取信息的比例超过80%即可停止继续提取主成分。

1.3 性质

根据
$$\{\begin{array}{rl}& X^{T}Y{v}_1={\theta }_1{w}_1\\ & Y^{T}X{w}_1\text{=}{\theta }_1{v}_1\end{array}$$
和
$$\{\begin{array}{rl}& t_1=X{w}_1\\ & u_1=Y{v}_1\end{array}$$
可以得到:
$$\{\begin{array}{c}\begin{array}{rl}& t_h=X_{h-1}{w}_h\\ & u_h=Y_{h-1}{v}_h\end{array}\\ w_h=\frac{1}{{\theta }_h}{X}_{h-1}^{T}Y{v}_h=\frac{1}{{\theta }_h}{X}_{h-1}^T{u}_h\\ v_h=\frac{1}{{\theta }_h}{Y}_{h-1}^{T}X{w}_h=\frac{1}{{\theta }_h}{X}_{h-1}^T{t}_h\end{array}$$
①轴$w_1,w_2,\cdots ,w_m$之间相互直交
②成分$t_1,t_2,\cdots ,t_m$之间相互直交
③$t_h^T{X}_l=0(l\ge h)$
④$p_h^T{w}_h=(\frac{t_h^T{X}_{h-1}}{{\Vert t_h\Vert }^2})w_h=\frac{t_h^T(X_{h-1}{w}_h)}{{\Vert t_h\Vert }^2}=\frac{t_h^T{t}_h}{{\Vert t_h\Vert }^2}=1$
⑤轴$w_h$与后续回归系数向量正交即$w_h^T{p}_l=w_h^T\frac{X_{l-1}^T{t}_l}{{\Vert t_l\Vert }^2}=0$
⑥(重要)$\forall h\ge 1$，有$X_h$与$X$的关系式：
$X_h=X\prod _{k=1}^h(E-w_k{p}_k^T)$
其中$E$为单位矩阵
证明(数学归纳法)：
当$h=1$时，$X_1=X-t_1{p}_1^T=X-X{w}_1{p}_1^T=X(E-w_1{p}_1^T)$
设在$h=k$时成立，则证$h=k+1$时也成立：
$$\begin{array}{rl}& X_{k+1}=X_k-t_{k+1}{p}_{k+1}^T=X_k-(X_k{w}_{k+1})p_{k+1}^T\\ & =X_k(E-w_{k+1}{p}_{k+1}^T)\\ & =\left[X\prod _{h=1}^k(E-w_h{p}_h^T)\right](E-w_{k+1}{p}_{k+1}^T)\end{array}$$
则得证。
⑦任一成分$t_h$是原自变量$X$的线性组合即：
$$t_h=X_{h-1}{w}_h=X\prod _{k=1}^{h-1}(E-w_k{p}_k^T)w_h=X{w}_h^{\ast }$$
其中
$$\begin{array}{rl}& w_h^{\ast }=\prod _{k=1}^{h-1}(E-w_k{p}_k^T)w_h=w_h\prod _{k=1}^{h-1}(E-w_k{p}_k^T)\\ & =w_h\left\{\left(E-w_1{p}_1^T\right)\left(E-w_2{p}_2^T\right)\cdots \left(E-w_{h-1}{p}_{h-1}^T\right)\right\}\end{array}$$

$E$为单位矩阵。
【编程计算问题】
初始化$chg=E$
h=1 求$w_1^{\ast }=w_1\times \left(E-O\right)=w_1\times chg$
h=2 chg发生变化，$chg=chg\times \left(E-w_1{p}_1^T\right)$，求$w_2^{\ast }=w_2\times chg$
h=3 chg发生变化，$chg=chg\times \left(E-w_2{p}_2^T\right)$，求$w_3^{\ast }=w_3\times chg$
以上证明过程(王惠文书有)。

Reference

王惠文.偏最小二乘方法原理及其应用
郭建校. 改进的高维非线性PLS回归方法及应用研究[D]. 天津大学, 2010.