偏最小二乘（pls）回归分析

姓名：车文扬 学号：16020199006

转载至：https://blog.csdn.net/revitalise/article/details/82530693，有删节

【嵌牛导读】：偏最小二乘回归分析

【嵌牛鼻子】：pls

【嵌牛提问】：偏最小二乘回归基本思想是什么？

【嵌牛正文】：

偏最小二乘用于查找两个矩阵（X和Y）的基本关系，即一个在这两个空间对协方差结构建模的隐变量方法。偏最小二乘模型将试图找到X空间的多维方向来解释Y空间方差最大的多维方向。偏最小二乘回归特别适合当预测矩阵比观测的有更多变量，以及X的值中有多重共线性的时候。通过投影预测变量和观测变量到一个新空间来寻找一个线性回归模型。

一、数学原理

为了实现偏最小二乘回归的基本思想，要求t1和u1的协方差最大，即求解下面的优化问题

利用拉格朗日乘数法求出w1和c1满足

偏最小二乘回归的成分、残差矩阵有许多优良的性质 ，其中之一是成分之间是相互正交的，这在一定程度上消除了多重线性相关性。偏最小二乘回归算法的实质是按照协方差极大化准则，在分解自变量变量数据矩阵 X 的同时，也在分解因变量数据矩阵 Y，并且建立相互对应的解释隐变量与反应隐变量之间的回归关系方程，充分体现了偏最小二乘回归的基本思想。