机器学习线性回归最小二乘法推导及几何解释

最小二乘法原理

$目标函数=\sum (观测值-理论值{)}^2$
n个只有一个特征的训练样本为$(x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)$
拟合函数$f_{k,b}(x)=kx+b$
则目标函数$J(k,b)={\sum }_{i=1}^n(f(x_i)-y_i{)}^2={\sum }_{i=1}^n(k{x}_i+b-y_i{)}^2$

代数解法

以k为未知数整理$J(k,b)$得到：
$$J(k)=\sum _{i=1}^n(k{x}_i+b-y_i{)}^2=(\sum _{i=1}^n{x}_i^2)k^2+2(\sum _{i=1}^n{x}_i(b-y_i))k+\sum _{i=1}^n(b-y_i{)}^2$$
以b为未知数整理$J(k,b)$得到：
$$J(b)=\sum _{i=1}^n(k{x}_i+b-y_i{)}^2=n{b}^2+(2\sum _{i=1}^n(k{x}_i-y_i))b+\sum _{i=1}^n(k{x}_i-y_i{)}^2$$

以上两式是关于$k$或$b$的开口向上的抛物线表达式，对于形如$y=a{x}^2+bx+c$的抛物线其对称轴为$x=-\frac{b}{2a}$,则当$x=-\frac{b}{2a}$式，y取得极值（也是最值）。
所以有
$$b=-\frac{2{\sum }_{i=1}^n(k{x}_i-y_i)}{2n}=\frac{1}{n}(\sum _{i=1}^n{y}_i-k\sum _{i=1}^n{x}_i)$$
$$k=-\frac{2({\sum }_{i=1}^n{x}_i(b-y_i))}{2{\sum }_{i=1}^n{x}_i^2}=\frac{{\sum }_{i=1}^n(x_i{y}_i)-b{\sum }_{i=1}^n{x}_i}{{\sum }_{i=1}^n{x}_i^2}$$
联立两式，求得$k,b$
$$k=\frac{n{\sum }_{i=1}^n{x}_i{y}_i-({\sum }_{i=1}^n{x}_i)({\sum }_{i=1}^n{y}_i)}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}$$
$$b=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}$$

矩阵解法

OLS的目标函数（矩阵形式）为：$J(\mathbf{w})={\Vert \mathbf{y}-\text{X}\mathbf{w}\Vert }_2^2$
其中$\text{X}\in {\mathbb{R}}^{m\ast n},\mathbf{w}\in {\mathbb{R}}^{n\ast 1},\mathbf{y}\in {\mathbb{R}}^{m\ast 1}$

补充：实值函数对向量求导

• $\nabla ({\mathbf{a}}^T\mathbf{x})=\nabla ({\mathbf{x}}^T\mathbf{a})=\mathbf{a}$
  • 证明：$\frac{\partial {\mathbf{a}}^{\mathbf{T}}\mathbf{x}}{\partial x_i}=\frac{\partial {\sum }_j{a}_j{x}_j}{\partial x_i}=\frac{\partial a_i{x}_i}{\partial x_i}=a_i$
• $\nabla ||\mathbf{x}|{|}_2^2=\nabla ({\mathbf{x}}^T\mathbf{x})=2\mathbf{x}$
  • 证明：$\frac{\partial ||\mathbf{x}|{|}_2^2}{\partial x_i}=\frac{\partial {\sum }_j{x}_j^2}{\partial x_i}=\frac{\partial x_i^2}{\partial x_i}=2x_i$
• $\nabla ({\mathbf{x}}^{T}A\mathbf{x})=(A+A^T)\mathbf{x}$
  • 证明：
    
  • 若 $A$ 是对称矩阵，即 $A=A^T$，上式右边还可以进一步化简为 $2A\mathbf{x}$

下面推导OLS的目标函数（矩阵形式）：
$J(\mathbf{w})={\Vert \mathbf{y}-\text{X}\mathbf{w}\Vert }_2^2=(\mathbf{y}-\text{X}\mathbf{w}{)}^T(\mathbf{y}-\text{X}\mathbf{w})={\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\text{X}\mathbf{w}-{\mathbf{w}}^T{\text{X}}^T\mathbf{y}+{\mathbf{w}}^T{\text{X}}^T\text{X}\mathbf{w}$

上述式子中展开项的每一项实际都是标量，因为$\text{X}\in {\mathbb{R}}^{m\ast n},\mathbf{w}\in {\mathbb{R}}^{n\ast 1},\mathbf{y}\in {\mathbb{R}}^{m\ast 1}$，所以${\mathbf{y}}^T\mathbf{y}\in {\mathbb{R}}^{1\ast 1}$，其余展开项同理可得也是标量。
对于标量$a$我们知道$a^T=a$，中间两项${\mathbf{y}}^T\text{X}\mathbf{w},{\mathbf{w}}^T{\text{X}}^T\mathbf{y}$互为转置，又都是标量，所以实际二者相等。

又因为${\nabla }_{\mathbf{x}}({\mathbf{x}}^{T}A\mathbf{x})=(A+A^T)\mathbf{x}$，所以${\mathbf{w}}^T{\text{X}}^T\text{X}\mathbf{w}=({\text{X}}^T\text{X}+({\text{X}}^T\text{X}{)}^T)\mathbf{w}=2{\text{X}}^T\text{X}\mathbf{w}$

${\mathbf{y}}^T\mathbf{y}$与$\mathbf{w}$无关，所以${\nabla }_{\mathbf{w}}({\mathbf{y}}^T\mathbf{y})=0$
则$J(\mathbf{w})$对$\mathbf{w}$求导，得：$\frac{\partial J(\mathbf{w})}{\partial \mathbf{w}}=-2{\text{X}}^T\mathbf{y}+2{\text{X}}^T\text{X}\mathbf{w}$
令$\frac{\partial J(\mathbf{w})}{\partial \mathbf{w}}=0\Rightarrow -2{\text{X}}^T\mathbf{y}+2{\text{X}}^T\text{X}\mathbf{w}=0\Rightarrow {\text{X}}^T\text{X}\mathbf{w}={\text{X}}^T\mathbf{y}$
$${\mathbf{w}}_{OLS}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\mathbf{y}$$

几何解释

如上图n个特征向量$(x_1,x_2,\cdots ,x_n)$组成一个n维空间。不失一般性，假设n=2。
$\text{X}\mathbf{w}$是$(x_1,x_2,\cdots ,x_n)$的线性组合，$\mathbf{y}-\text{X}\mathbf{w}$是图中的红色向量，
目标函数为$J(\mathbf{w})={\Vert \mathbf{y}-\text{X}\mathbf{w}\Vert }_2^2$，几何意义即为使$\mathbf{y}-\text{X}\mathbf{w}$的模长最小，三角形中斜边大于直角边，所以当且仅当$\text{X}\mathbf{w}$是$\mathbf{y}$在平面上的投影，即$\mathbf{y}-\text{X}\mathbf{w}$与平面垂直时目标函数有最小值

对于两个列向量$\text{a},\text{b}$，若$\text{a}\perp \text{b}$，则${\text{a}}^T\text{b}=0$，
所以有${\text{X}}^T(\mathbf{y}-\text{X}\mathbf{w})=0$（向量垂直平面）
$${\text{X}}^T(\mathbf{y}-\text{X}\mathbf{w})=0\Rightarrow {\mathbf{w}}_{OLS}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\mathbf{y}$$

最小二乘法的局限性

1. 若${\text{X}}^T\text{X}$的逆矩阵不存在，则无法使用最小二乘法，此时可用梯度下降法求解
2. 当特征n非常大时，计算${\text{X}}^T\text{X}$的逆矩阵很耗时
3. 若拟合函数不是线性的，则无法使用最小二乘法