偏最小二乘回归（Partial Least Squares Regression）笔记

看一篇文章，其中提到了偏最小二乘回归PLS，PLS方法在普通多元回归的基础（最小二乘法），结合了主成分分析PCA和典型相关分析CCA的思想，解决回归分析中自变量多重共线性的问题。

首先需要补充一下PCA和CCA的基础知识，其中最小二乘法比较常见，参见百度百科：最小二乘法

1. 主成分分析PCA

了解PCA，当然是 wiki:PCA，多元统计中，PCA在减少数据集的维数同时，保留住数据的最重要方面，方法通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征向量）与它们的权值（即特征值）。因此PCA能够揭露数据的内部结构，从而更好地解释数据的变量。

主成分分析（Principal components analysis）-最大方差解释 这个帖子解释的很好，可以参考一下。

2. 典型相关分析CCA

参考百度百科：典型性相关分析

变量的相关性分析中，简单的相关系数（相关系数或线性相关系数）只是孤立考虑单个变量X与单个变量Y之间间的相关，没有考虑X、Y变量组内部各变量间的相关。而CCA能够从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。

还是推荐JerryLead的博客典型关联分析（Canonical Correlation Analysis）

3. 偏最小二乘回归PLS

偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又较少时，用偏最小二乘回归建立的模型具有传统的经典回归分析等方法所没有的优点。

在解决多对多线性回归问题时，多元线性回归会因为自变量之间存在的相关性导致过拟合。PLS的方法先找到线性独立的替换自变量，这样它们之间相互独立且与能最大限度的反应因变量之间的差异。

http://caoyaqiang.diandian.com/post/2013-05-16/40051158284这篇博客讲得还不错，浅显易懂

当然还要推荐一下JerryLead的偏最小二乘法回归（Partial Least Squares Regression）

还有一个PDF：第三十章 偏最小二乘回归