最小二乘法---线性回归的求解方法

这几天看书的时候突然注意到了这个经典的优化方法，于是重新推导了一遍，为以后应用做参考。

背景

最小二乘法应该是我接触的最早的优化方法，也是求解线性回归的一种方法。线性回归的主要作用是用拟合的方式，求解两组变量之间的线性关系（当然也可以不是线性的，那就是另外的回归方法了）。也就是把一个系统的输出写成输入的线性组合的形式。而这组线性关系的参数求解方法，就是最小二乘法。

我们从最简单的线性回归开始，即输入和输出都是1维的。此时，最小二乘法也是最简单的。

假设有输入信号$x=\{x_0,x_1,...,x_t\}$，同时输出信号为$y=\{y_0,y_1,...,y_t\}$，我们假设输入信号$x$和输出信号$y$之间的关系可以写成如下形式：

$$y_{pre}=ax+b\text{\hspace{1em}(1)}$$

我们需要求解最优的$a$和$b$，这里最优的含义就是，预测的最准确，也就是预测值和真实值的误差最小，即：

$$argmi{n}_{a,b}\sum _{i=0}^t(y_i-a{x}_i-b{)}^2\text{\hspace{1em}(2)}$$

我们假设误差函数为：

$$err=\sum _{i=0}^t(y_i-a{x}_i-b{)}^2\text{\hspace{1em}(3)}$$

$err$对$a$和$b$分别求偏导：

$$\frac{\partial err}{\partial a}=\sum _{i=0}^{t}2(a{x}_i+b-y_i)\ast x_i\text{\hspace{1em}(4)}$$

$$\frac{\partial err}{\partial b}=\sum _{i=0}^{t}2(a{x}_i+b-y_i)\text{\hspace{1em}(5)}$$

根据极值定理，有$$\frac{\partial err}{\partial a}=0$$，且$$\frac{\partial err}{\partial b}=0$$，所以有：

$$\sum _{i=0}^{t}2(a{x}_i+b-y_i)=0\text{\hspace{1em}(6)}$$

$$\sum _{i=0}^t(y_i-a{x}_i)=\sum _{i=0}^{t}b\text{\hspace{1em}(7)}$$

$$\sum _{i=0}^t{y}_i-a\ast \sum _{i=0}^t{x}_i=(t+1)\ast b\text{\hspace{1em}(8)}$$

$$b=\bar{y}-a\bar{x}\text{\hspace{1em}(9)}$$

其中，$\bar{y}$表示$y$的均值，$\bar{x}$表示$x$的均值。将Eq(9)代入Eq(4)，有：

$$\sum _{i=0}^{t}2(a{x}_i+b-y_i)\ast x_i=0\text{\hspace{1em}(10)}$$

$$\sum _{i=0}^{t}a{x}_i^2+\sum _{i=0}^{t}b{x}_i=\sum _{i=0}^t{y}_i{x}_i\text{\hspace{1em}(11)}$$

$$a\sum _{i=0}^t{x}_i^2+\bar{x}(\bar{y}-a\bar{x})=\sum _{i=0}^t{x}_i{y}_i\text{\hspace{1em}(12)}$$

$$a(\sum _{i=0}^t{x}_i^2-{\bar{x}}^2)=\sum _{i=0}^t{x}_i{y}_i-\bar{x}\bar{y}\text{\hspace{1em}(13)}$$

$$a=\frac{{\sum }_{i=0}^t{x}_i{y}_i-\bar{x}\bar{y}}{{\sum }_{i=0}^t{x}_i^2-{\bar{x}}^2}\text{\hspace{1em}(14)}$$

所以Eq(14)和Eq(9)就是最简单的最小二乘法的计算方法。

然后我们进一步考虑，如果输入和输出是多维数据，要如何计算。

假设输入信号为$X\in R^{m\ast t}$， 输出信号为$Y\in R^{n\ast t}$，那么有：

$$Y=W_{0}X+B=W{X}_1\text{\hspace{1em}(15)}$$

其中$W_0\in R^{n\ast m}$是回归矩阵的系数，$B\in R^{1\ast t}$表示常数项，这里可以直接写到$W$矩阵中。$W\in R^{n\ast (m+1)}$，$X_1\in R^{(m+1)\ast t}$
$$X_1=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1t}\\ x_{11}& x_{12}& ...& x_{1t}\\ ⋮& ⋮& ...& ⋮\\ x_{m1}& x_{m2}& ...& x_{mt}\\ 1& 1& ...& 1\end{array}\right]\text{\hspace{1em}(16)}$$

所以有：

$$\arg mi{n}_W(Y-W{X}_1)\text{\hspace{1em}(17)}$$

假设误差函数为$E$，则有：

$$E=(Y-W{X}_1)(Y-W{X}_1{)}^T=Y{Y}^T-W{X}_1{Y}^T-Y{X}_1^T{W}^T+W{X}_1{X}_1^T{W}^T\text{\hspace{1em}(18)}$$

计算$E$对$W$的偏导，则该偏导等于0：

$$\frac{\partial E}{\partial W}=-X_1{Y}^T-X_1{Y}^T+2WX{X}^T=0\text{\hspace{1em}(19)}$$

所以有：

$$W=(X_1{X}_1^T{)}^{-1}{X}_1{Y}^T\text{\hspace{1em}(20)}$$

至此矩阵形式的最小二乘法（多元线性回归的参数解法）推导完成。注意这里的$X_1$和$Y$中的数据排列方式为：每一行是一个维度的数据，每一列表示一个时间点。如果不是这么记录的话，那么公式需要加上转置。

后续会附上代码链接