【数理知识】最小二乘法，一般线性情况，矩阵化表示过程，最佳参数的求解公式过程

序号	内容
1	【数理知识】自由度 degree of freedom 及自由度的计算方法
2	【数理知识】刚体 rigid body 及刚体的运动
3	【数理知识】刚体基本运动，平动，转动
4	【数理知识】向量数乘，内积，外积，matlab代码实现
5	【数理知识】协方差，随机变量的的协方差，随机变量分别是单个数字和向量时的协方差
6	【数理知识】旋转矩阵的推导过程，基于向量的旋转来实现，同时解决欧式变换的非线性局限

友情提醒：请先服用文章【数理知识】最小二乘法，从线性回归出发，数值举例并用最小二乘法求解回归模型，再来服用本文。

之前的文章【数理知识】最小二乘法，从线性回归出发，数值举例并用最小二乘法求解回归模型中，从回归分析的角度出发，分析了线性回归的模型，举了具体的数值例子，并使用最小二乘法求解了模型的最佳参数。

在之前的回归分析中，举例时使用的是：

• 简单线性回归模型（单解释变量，单响应变量）
• 多元线性回归模型（多解释变量，单响应变量）

但是都是单响应变量，同时也不方便进行矩阵化描述。

在实际的应用中，更多使用的是多解释变量多响应变量的回归模型，同时也会使用矩阵化操作，这样既能节省计算机的资源，还能加速计算的效率。

因此本文将从多解释变量多响应变量出发，重点介绍如何矩阵化，以及矩阵化后的求导运算和操作。

---

1. 多解释变量，多响应变量

在上述（单解释变量，单响应变量）和的基础上，推广到更一般的线性情况。

这种多解释变量多响应变量的回归模型，可以用公式表征为

$$\begin{array}{rl}{y}_1& ={\beta }_0+{\beta }_1{x}_{11}+{\beta }_2{x}_{12}+\cdots +{\beta }_p{x}_{1p}\\ y_2& ={\beta }_0+{\beta }_1{x}_{21}+{\beta }_2{x}_{22}+\cdots +{\beta }_p{x}_{3p}\\ y_3& ={\beta }_0+{\beta }_1{x}_{31}+{\beta }_2{x}_{32}+\cdots +{\beta }_p{x}_{3p}\\ ⋮& \\ y_m& ={\beta }_0+{\beta }_1{x}_{m1}+{\beta }_2{x}_{m2}+\cdots +{\beta }_p{x}_{mp}\end{array}$$

可以看到这种回归模型共有
$m$ 个响应变量 $y_1,\cdots ,y_m$，
$m\ast p$ 个解释变量 $x_{11},\cdots ,x_{mp}$，
$1$ 个参数 ${\beta }_0$，
$p$ 个参数 ${\beta }_1,\cdots ,{\beta }_p$。

---

接下来进行矩阵化，令

Y = [ y 1 y 2 ⋮ y m ] m × 1 , X = [ x 11 x 12 ⋯ x 1 p x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋱ ⋮ x m 1 x m 2 ⋯ x m p ] m × p , β = [ β 1 β 2 ⋮ β p ] p × 1 Y = \left[\begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix}\right]_{m \times 1}, \quad X = \left[\begin{matrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mp} \\ \end{matrix}\right]_{m \times p}, \quad \beta = \left[\begin{matrix} \beta_{1} \\ \beta_{2} \\ \vdots \\ \beta_{p} \end{matrix}\right]_{p \times 1} Y= ​y1​y2​⋮ym​​ ​m×1​,X= ​x11​x21​⋮xm1​​x12​x22​⋮xm2​​⋯⋯⋱⋯​x1p​x2p​⋮xmp​​ ​m×p​,β= ​β1​β2​⋮βp​​ ​p×1​

$$\begin{array}{r}Y=X\beta +{\beta }_0\end{array}$$

这种形式虽然看着简单清晰，但是多一项 ${\beta }_0$，我们换种形式将 ${\beta }_0$ 融进 $\beta$ 中去。令

Y = [ y 1 y 2 ⋮ y m ] m × 1 , X = [ 1 x 11 x 12 ⋯ x 1 p 1 x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋮ ⋱ ⋮ 1 x m 1 x m 2 ⋯ x m p ] m × ( p + 1 ) , β = [ β 0 β 1 β 2 ⋮ β p ] ( p + 1 ) × 1 Y = \left[\begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix}\right]_{m \times 1}, \quad X = \left[\begin{matrix} 1 & x_{11} & x_{12} & \cdots & x_{1p} \\ 1 & x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{m1} & x_{m2} & \cdots & x_{mp} \\ \end{matrix}\right]_{m \times (p+1)}, \quad \beta = \left[\begin{matrix} \beta_{0} \\ \beta_{1} \\ \beta_{2} \\ \vdots \\ \beta_{p} \end{matrix}\right]_{(p+1) \times 1} Y= ​y1​y2​⋮ym​​ ​m×1​,X= ​11⋮1​x11​x21​⋮xm1​​x12​x22​⋮xm2​​⋯⋯⋱⋯​x1p​x2p​⋮xmp​​ ​m×(p+1)​,β= ​β0​β1​β2​⋮βp​​ ​(p+1)×1​

然后就变成了

$$\begin{array}{r}Y=X\beta \end{array}$$

---

2. 矩阵运算求偏导

接下来的重点就是找寻一个最好的 $\theta$ 使得 $X\beta -Y$ 最小，即

$$\underset{\beta }{\min }\Vert X\beta -Y{\Vert }_2^2$$

其中 $X,Y$ 是已知的，未知的是 $\beta$。

使用最小二乘法求解最佳参数 $\beta$ 时，我们经常看到一个结论公式，即最佳的 $\beta$ 为

$$\beta =(X^{\text{T}}X{)}^{-1}{X}^{\text{T}}Y$$

但总是不知道其求解过程。因此接下来将讨论如何得到的此结论。

---

令 $J(\beta )=\Vert X\beta -Y{\Vert }_2^2$，这是残差平方和的另一种表示方式。我们可以通过展开这个方程来找到其对应的矩阵形式为

$$J(\beta )=(X\beta -Y{)}^{\text{T}}(X\beta -Y)$$

接下来计算 $J(\beta )$ 对 $\beta$ 的偏导数，并令其等于零而求得 $\beta$ 的值。展开上述方程有

$$\begin{array}{rl}J(\beta )& =(X\beta -Y{)}^{\text{T}}(X\beta -Y)\\ & =({\beta }^{\text{T}}{X}^{\text{T}}-Y^{\text{T}})(X\beta -Y)\\ & ={\beta }^{\text{T}}{X}^{\text{T}}X\beta -{\beta }^{\text{T}}{X}^{\text{T}}Y-Y^{\text{T}}X\beta +Y^{\text{T}}Y\end{array}$$

求偏导有

$$\begin{array}{rl}\frac{\partial J(\beta )}{\partial \beta }& =\frac{\partial }{\partial \beta }({\beta }^{\text{T}}{X}^{\text{T}}X\beta -{\beta }^{\text{T}}{X}^{\text{T}}Y-Y^{\text{T}}X\beta +Y^{\text{T}}Y)\end{array}$$

这个式子想要求出来必须借助矩阵微积分的规则：对于未知量 $X$ 和常数矩阵 $A$，有

• $\frac{\text{d}}{\text{d}X}(AX)=A^{\text{T}}$
• $\frac{\text{d}}{\text{d}X}(X^{\text{T}}A)=A$
• $\frac{\text{d}}{\text{d}X}(X^{\text{T}}AX)=(A+A^{\text{T}})X$

根据上述规则分别有

• $\frac{\partial }{\partial \beta }({\beta }^{\text{T}}{X}^{\text{T}}X\beta )=((X^{\text{T}}X)+(X^{\text{T}}X{)}^{\text{T}})\beta =2X^{\text{T}}X\beta$
• $\frac{\partial }{\partial \beta }(-{\beta }^{\text{T}}{X}^{\text{T}}Y)=-X^{\text{T}}Y$
• $\frac{\partial }{\partial \beta }(-Y^{\text{T}}X\beta )=(-Y^{\text{T}}X{)}^{\text{T}}=-X^{\text{T}}Y$

故偏导为

$$\frac{\partial J(\beta )}{\partial \beta }=2X^{\text{T}}X\beta -2X^{\text{T}}Y$$

令其为零有

$$\begin{array}{rl}2X^{\text{T}}X\beta -2X^{\text{T}}Y& =0\\ X^{\text{T}}X\beta -X^{\text{T}}Y& =0\\ X^{\text{T}}X\beta & =X^{\text{T}}Y\\ \beta & =(X^{\text{T}}X{)}^{-1}{X}^{\text{T}}Y\end{array}$$

至此，也就得到了最小二乘法的最佳参数的求解公式。

---

Ref

1. 最小二乘法 - WikiPedia
2. 最小二乘法，它怎么用，又是如何推出来的 - bilibili
3. 如何理解最小二乘法？ - 马同学

---