2022-10-16入门1-最小二乘估计与偏最小二乘估计

All models are wrong but some are useful. —George Box

普通最小二乘回归（ordinary least square，OLS），也被称为普通最小平方估计回归

普通最小二乘回归是最小二乘回归里的一种

Y=β0+β1X1+β2X2+β3X3+···+e，这是常见的线性回归方程，那么如何估计回归系数β呢？其中一种方法就是最小二乘估计。（取平方的方法叫最小二乘估计，那取绝对值的方法就叫最小一乘估计）

通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的这些系数β，并使得利用这些β计算得到的Y值与实际Y值之间误差的平方和为最小。

在OLS得到的结果会很好，如果它满足以下所有这些假设:(1)回归系数是线性，(2)所有自变量x必须与残差不相关，(3)残差之间不相关(序列相关)，(4)残差的方差恒定，(5)自变量之间不存在高度相关性(避免多线性/共线性)，(6)残差服从正态分布

残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。

在多元线性回归中，一般采用最小二乘法进行回归系数的估计，以使得残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往会失效。为消除这种影响，常采用主成分分析方法来提取主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪音，从而对因变量Y缺乏解释能力。因此，偏最小二乘回归方法应运而生。

关于多重相关性的理解：https://zhuanlan.zhihu.com/p/69888091

偏最小二乘回归(（partial least square，PLS）)

偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化（主成分分析）以及两组变量间的相关性分析（典型性分析），集合多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。
偏最小二乘回归 ≈ 多元线性回归分析 + 典型相关分析 + 主成分分析

当只有一个自变量时称为一元线性回归，当有多个自变量时称为多元线性回归

PLS是一种多元统计技术，是一种基于协方差的统计方法，它允许在多个因变量Y和多个自变量X之间进行比较(Tennenhaus, 1998)。PLS的目标是从x预测y，并描述两个变量的共同结构(Abdi2003)。PLS是一种回归方法，允许识别潜在因素，这是解释变量或X(也称为潜在变量)的线性组合与最好的响应模型或Y变量(Tobias, 1997)的线性组合。在PLS中，潜在变量之间的最优线性关系被计算出来，并且可以被解释为研究中给出所有限制的最佳预测变量集(Falk & miller, 1992)。

协方差：方差分析要求各比较组除了所施加的处理因素不同外，其他对观测指标有影响的因素应该齐同或均衡。如何在比较多组均数差别的同时扣除或均衡这些非研究因素的影响，可考虑进行协方差分析。协方差分析≈线性回归分析+方差分析

考虑自变量有多个，因变量只有一个时候的回归，当自变量的多重相关性差的时候，可以直接使用最小二乘求解回归模型；
1、考虑自变量有多个，因变量只有一个时候的回归，当自变量的多重共线性强的时候，可以对自变量做主成分分析，然后使用主成分作为新的自变量，再使用最小二乘求解回归模型；
2、考虑自变量有多个，因变量也有多个的时候的回归，如果自变量和因变量都不存在多重共线性的时候，可以分别使用自变量对每一个因变量做回归，使用最小二乘求解；
3、考虑自变量有多个，因变量也有多个的时候的回归，如果自变量存在多重共线性，因变量不存在多重共线性的时候，可以对自变量做主成分分析，然后使用主成分作为新的自变量分别对每一个因变量做回归，使用最小二乘求解；
4、考虑自变量有多个，因变量也有多个的时候的回归，如果自变量和因变量都存在多重共线性的时候该怎么办呢，这时候还是使用主成分分析+分别对每个变量做回归吗？
偏最小二乘提供一种多对多的线性回归建模方法，即自变量有多个，因变量也有多个的时候的建模方法，尤其适用于自变量和因变量都存在多重共线性的情况。
————————————————
版权声明：本文为CSDN博主「林晓明」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_42408467/article/details/103514246

PLS-DA(Partial Least Squares Discriminant Analysis)偏最小二乘法判别分析

与主成分分析PCA的区别：PCA是无监督学习方法（在分析时不清楚每个样品的处理分组，单纯根据数据特征进行分析）。在PCA降维过程中，因变量Y（响应变量）也没有参与指导主成分的构造，所以PCA有一个弊端：无法保证很好地解释预测变量X的方向同时可以很好地预测因变量Y。
而PLS是有监督的学习方法。利用PLS降维的目的是使提取后得到的特征变量不仅能很好的概括原始变量的信息，而且对因变量有很强的解释能力。具体过程为分别从自变量和因变量中提取成分T,U(偏最小二乘因子)，保证T,U能尽可能多的提取所在变量组的变异信息，同时保证二者之间的相关性最大。PLS把m个主成分作为新的变量集，在此基础上进行最小二乘回归，所以响应变量起到了调整各主成分参数的作用。偏最小二乘回归可以较好的解决样本个数少于变量个数的问题，并且除了考虑自变量矩阵外，还考虑了相应矩阵。
————————————————
版权声明：本文为CSDN博主「隔壁王者新」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/sxx1214/article/details/94394526

对有监督和无监督学习的另一个直观的理解：PCA也是属于探索性分析方法的一种，所以我们一般分析降维时第一反应会想到用PCA（当然老师教我们的时候，首先也会教基础的一些探索性的分析方法，比如PCA），PCA一做处理间能分开达到你的研究目的了，就没必要再去想用其他方法再弄；但总有一些样品（比如多重共线性很多，自变量个数远远大于样品数量等等）可能就分不太开、效果不好，比如得到如下的第一张图，样品就没有被分开；因此，想到要把Y加进去，做一下有监督的PLS-DA，同样的数据拿来做PLS-DA可能就分开了（如下第二张图）。

来源：https://blog.csdn.net/qq_42090739/article/details/123912601

来源：https://blog.csdn.net/qq_42090739/article/details/123912601

https://blog.csdn.net/geekfocus/article/details/118521287
http://www.360doc.com/content/20/1111/03/72085106_945227062.shtml

参考资料

https://www.xiong99.com.cn/detail/v_5ee71db66b604_i5GlR3FG/3?from=p_5ee71800d5039_u6fcPZ29&type=6&parent_pro_id=

https://blog.csdn.net/weixin_39833454/article/details/111372832

普通最小二乘回归vs偏最小二乘回归（doi:10.1016/j.sbspro.2010.07.308）
多重共线性举例（https://zhuanlan.zhihu.com/p/69888091）
多重共线性诊断及处理（https://blog.csdn.net/weixin_30905981/article/details/98774167?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-1-98774167-blog-82717410.t0_edu_mix&spm=1001.2101.3001.4242.2&utm_relevant_index=4 ）
线性函数和线性回归的区别（https://www.zhihu.com/question/271558319）