用最小二乘法求解多元线性回归的参数

最小二乘法

如何求解多元线性回归残差平方和RSS最小化的参数向量?这种通过最小化真实值和预测值之间的RSS来求解参数的方法叫做最小二乘法。
求解极值的第一步往往是求解一阶导数并让一阶导数等于0，最小二乘法也不能免俗。因此，首先在残差平方和RSS上对参数向量求导。这里的过程涉及少数矩阵求导的内容，需要查表来确定，感兴趣可以去维基百科去查看矩阵求导的详细公式的表格：
https://en.wikipedia.org/wiki/Matrix_calculus
接下来，对$\mathbf{\omega }$求导：
$\frac{\partial \mathbf{R}\mathbf{S}\mathbf{S}}{\partial \mathbf{\omega }}=\frac{\partial ||\mathbf{y}-\mathbf{X}\mathbf{\omega }|{|}_2{}^2}{\partial \mathbf{\omega }}=\frac{\partial (\mathbf{y}-\mathbf{X}\mathbf{\omega }{)}^{\mathbf{T}}(\mathbf{y}-\mathbf{X}\mathbf{\omega })}{\partial \mathbf{\omega }}$
$$\begin{gathered} \because (A-B{)}^T=A^T-B^T并且(AB{)}^T=B^T\ast A^T \\ \therefore =\frac{\partial ({\mathbf{y}}^{\mathbf{T}}-{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}})(\mathbf{y}-\mathbf{X}\mathbf{\omega })}{\partial \mathbf{\omega }}=\frac{\partial ({\mathbf{y}}^{\mathbf{T}}\mathbf{y}-{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{y}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega }+{\mathbf{\omega }}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega })}{\partial \mathbf{\omega }} \end{gathered}$$
$\because$ 矩阵求导中，α为常数，有如下规则：
$\frac{\partial \mathbf{\alpha }}{\partial \mathbf{A}}=0,\frac{\partial {\mathbf{A}}^{\mathbf{T}}{\mathbf{B}}^{\mathbf{T}}\mathbf{C}}{\partial \mathbf{A}}={\mathbf{B}}^{\mathbf{T}}\mathbf{C},\frac{\partial {\mathbf{C}}^{\mathbf{T}}\mathbf{B}\mathbf{A}}{\partial \mathbf{A}}={\mathbf{B}}^{\mathbf{T}}\mathbf{C},\frac{\partial {\mathbf{A}}^{\mathbf{T}}\mathbf{B}\mathbf{A}}{\partial \mathbf{A}}=(\mathbf{B}+{\mathbf{B}}^{\mathbf{T}})\mathbf{A}$
$$\begin{gathered} =0-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega } \\ ={\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega }-{\mathbf{X}}^{\mathbf{T}}\mathbf{y} \end{gathered}$$
我们让求导后的一阶导数为0：
${\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega }-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}=0$
${\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{\omega }={\mathbf{X}}^{\mathbf{T}}\mathbf{y}$
左乘一个$({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}$则有：
$\mathbf{\omega }=({\mathbf{X}}^{\mathbf{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$
到了这里，希望能够将$\mathbf{\omega }$留在等式的左边，其他与特征矩阵有关的部分都放到等式的右边，如此就可以求出$\mathbf{\omega }$的最优解了。这个功能非常容易实现，只需要我们左乘${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$的逆矩阵就可以。在这里，逆矩阵存在的充分必要条件是特征矩阵不存在多重共线性。
假设矩阵的逆是存在的，此时$\mathbf{\omega }$就是我们参数的最优解。求出这个参数向量，就解出了$\mathbf{X}\mathbf{\omega }$，也就能够计算出预测值$\hat{\mathbf{y}}$了。对于多元线性回归的理解，到这里就足够了，如果还希望继续深入，可以给一个方向：矩阵${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$其实是使用奇异值分解来进行求解的，可以仔细去研究一下。以算法工程师和数据挖掘工程师为目标的人，能够手动推导上面的求解过程是基本要求。
除了多元线性回归的推导之外，这里还需要提到一些在上面的推导过程中不曾被体现出来的问题。在统计学中，使用最小二乘法来求解线性回归的方法是一种“无偏估计”的方法，这种无偏估计要求因变量，也就是标签的分布必须服从正态分布。这是说，y必须经由正太化处理（比如说取对数，或者使用QuantileTransformer或者PowerTransformer这些功能）。在机器学习中，会先考虑模型的效果，如果模型效果不好，那可能考虑改变因变量的分布。