最小二乘法least-squares

又称最小平方法，一种优化方法，由高斯，勒让德独立提出，但高斯先发现（1809发表），勒让德先发表（1805发表）
最早是因为意大利天文学家皮亚齐发现的1号小行星“谷神星”转到太阳背后，皮亚齐就观测不到了，失去了谷神星的位置。很多天文学家都试图找到位置却无果。德国数学家高斯（1777-1855）根据皮亚齐的观测数据计算出来谷神星的轨道，后来德国的天文学家奥伯斯在高斯预言的时间和星空领域重新找到了谷神星。1809年高斯在其著作《天体运动论》中发表了最小二乘法，还包括了最小二乘的误差分析。
1805年法国大数学家勒让德（在椭圆积分，数论，几何方面都有重大贡献）发表了《计算彗星轨道的新方法》，其附录描述了最小二乘法。勒让德，拉普拉斯，拉格朗日是18-19世纪法国数学界的三驾马车，被称为“3L”。
当时发生了著名的优先权之争，现在也不清楚谁先发明的。因为勒让德没涉及误差分析，而误差分析在现在的数理统计和机器学习中又很重要，所以一般归功于数学王子高斯。

小结;

1. 用途：给一组数据找一个拟合性最好的最佳匹配的函数；根据拟合函数求未知数据。

2. 思想：最小化误差的平方和，主要是在最小化超定方程组（方程数比未知数多）的残差（观测值与模型提供的拟合值之间的差距）平方和。

3. 本质:找一个直线/超平面，使得所有样本点到它的欧式距离之和最小。

4. 最小二乘方法用于线性回归就是最小二乘参数估计。

5. 它是用线性方法进行回归学习，找到一个预测值。而用线性模型进行分类就要考虑逻辑回归了。

---

原理推导

线性模型(可解释性好，是非线性模型的基础)试图学习以下预测函数:
$$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$

写成向量形式：
$$y={\mathbf{w}}^T\mathbf{x}+b$$

前面说了，最小二乘的思想就是最小化误差的平方和,共m个数据，每个数据都是d维的向量（d个特征），$y_i$是数据对应的真实值，${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b$是函数的拟合值：
$$\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_m\end{array}\right]$$
$$\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\end{array}\right]$$

$$X=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_m^T\end{array}\right]=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1d}\\ x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& & & \\ x_{m1}& x_{m2}& \cdots & x_{md}\end{array}\right]$$

残差的平方和自然就是最小二乘问题对应的能量函数了：
$$minJ=\sum _{i=1}^m(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}-b{)}^2$$

我们要找到上述优化问题的解对应的模型：
$$(w^{\ast },b^{\ast })=argmin\sum _{i=1}^m(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}-b{)}^2$$

这是个无约束的优化问题，直接对$\mathbf{w}$和b求偏导令为0就可以得到闭式解了，很easy。

为了便于高维表示，令$\hat{w}=[\mathbf{w};b]=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_d\\ b\end{array}\right]$
$\hat{X}=[\mathbf{X}，1]=\left[\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right]=\left[\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1d}& 1\\ x_{21}& x_{22}& \cdots & x_{2d}& 1\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{md}& 1\end{array}\right]$

高维情况下的能量函数可写为：
$$minJ=(\mathbf{y}-\hat{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\hat{X}\hat{\mathbf{w}})$$

无约束的优化问题，直接对$\mathbf{w}$和b,即$\hat{w}$求偏导令为0

$$\{\begin{array}{rlr}\frac{\partial J}{\partial \mathbf{w}}& =& 0\\ \frac{\partial J}{\partial b}& =& 0\end{array}$$

即$$\frac{\partial J}{\partial \hat{\mathbf{w}}}=0$$

$$\therefore \frac{\partial [{\mathbf{y}}^T\mathbf{y}-{\mathbf{y}}^T\hat{X}\hat{\mathbf{w}}-{\hat{\mathbf{w}}}^T{\hat{X}}^T\mathbf{y}+{\hat{\mathbf{w}}}^T{\hat{X}}^T\hat{X}\hat{\mathbf{w}}]}{\partial \hat{\mathbf{w}}}=0$$

$$\therefore -({\mathbf{y}}^T\hat{X}{)}^T-{\hat{X}}^T\mathbf{y}+2{\hat{X}}^T\hat{X}\hat{\mathbf{w}}=0$$

$$\therefore {\hat{X}}^T\hat{X}\hat{\mathbf{w}}={\hat{X}}^T\mathbf{y}$$

若${\hat{X}}^T\hat{X}$可逆/满秩，则有唯一解${\hat{\mathbf{w}}}^{\ast }=({\hat{X}}^T\hat{X}{)}^{-1}{\hat{X}}^T\mathbf{y}=X^{†}\mathbf{y}$

其中$X^{†}=({\hat{X}}^T\hat{X}{)}^{-1}{\hat{X}}^T$是伪逆（M-P逆）。

若不满秩（更常见），则有多个解均可使得误差平方和最小。到底选哪个要由学习算法的偏好决定。常见的做法是引入正则项。