机器学习之回归——标准最小二乘法回归的数学推导过程（矩阵形式）

均方误差函数：$$f(w)=\sum _{i=1}^m(y_i-x_i^{T}w{)}^2$$
f(w)分别对$w_1,w_2,...w_d$求偏导
$$\frac{\partial f(w)}{\partial w_1}=2(y_1-x_1^T\cdot w)\cdot x_1^1+2(y_2-x_2^T\cdot w)\cdot x_2^1+\cdots +2(y_m-x_m^T\cdot w)\cdot x_m^1$$
$$\frac{\partial f(w)}{\partial w_2}=2(y_1-x_1^T\cdot w)\cdot x_1^2+2(y_2-x_2^T\cdot w)\cdot x_2^2+\cdots +2(y_m-x_m^T\cdot w)\cdot x_m^2$$
$$\cdots$$
$$\frac{\partial f(w)}{\partial w_d}=2(y_1-x_1^T\cdot w)\cdot x_1^d+2(y_2-x_2^T\cdot w)\cdot x_2^d+\cdots +2(y_m-x_m^T\cdot w)\cdot x_m^d$$
注意我们的样本矩阵X的形式：$$X=\left[\begin{array}{cccc}{x}_1^1& x_1^2& \cdots & x_1^d\\ x_2^1& x_2^2& \cdots & x_2^d\\ \cdots & \cdots & \cdots & \cdots \\ x_m^1& x_m^2& \cdots & x_m^d\end{array}\right]$$
还有真实值Y矩阵(向量)：
$$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_m\end{array}\right]$$
我们把各个偏导写成矩阵形式，也就是梯度向量：

$$\left[\begin{array}{c}{w}_1^{\prime }\\ w_2^{\prime }\\ \cdots \\ w_d^{\prime }\end{array}\right]=2\left[\begin{array}{cccc}{x}_1^1& x_2^1& \cdots & x_m^1\\ x_1^2& x_2^2& \cdots & x_m^2\\ \cdots & \cdots & \cdots & \cdots \\ x_1^d& x_2^d& \cdots & x_m^d\end{array}\right]\cdot \left(\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_m\end{array}\right]-\left[\begin{array}{cccc}{x}_1^1& x_1^2& \cdots & x_1^d\\ x_2^1& x_2^2& \cdots & x_2^d\\ \cdots & \cdots & \cdots & \cdots \\ x_m^1& x_m^2& \cdots & x_m^d\end{array}\right]\cdot \left[\begin{array}{c}{w}_1\\ w_2\\ \cdots \\ w_d\end{array}\right]\right)=2X^T(Y-X\cdot w)$$
我们可以使用已有的数据求出梯度向量，所以就可以使用梯度下降法优化w，使f(w)最小。不过，我们像求函数极值一样，让所有偏导都等于0，可以得到：
$$2X^T(Y-Xw)=2X^{T}Y-2X^{T}Xw=0$$
$$2X^{T}Xw=2X^{T}Y$$
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}Y$$
但是这里的w不是真实w，只是利用统计数据估计出来的，所以使用$\hat{w}$表示w的最佳值。
值得注意的是，$X^{T}X$并不总是可逆，所以在优化函数中，要添加可逆判断增加优化函数健壮性。矩阵奇异值分解也可以解决此问题。