线性回归——正规方程推导过程

首先看到我们的线性回归模型：
$$f(x_i)=w^T{x}_i$$
其中$w=\left(\begin{array}{c}{w}_0\\ w_1\\ ...\\ w_n\end{array}\right)$，$x_i=\left(\begin{array}{c}{x}_0\\ x_1\\ ...\\ x_n\end{array}\right)$，m表示样本数，n是特征数。

然后我们的代价函数(这里使用均方误差)：
$$J(w)=\sum _{i=1}^m(f(x_i)-y_i{)}^2$$
接着把我的代价函数写成向量的形式：
$$J(w)=(Xw-y{)}^T(Xw-y)$$
其中$X=\left(\begin{array}{ccccc}1& x_{11}& x_{12}& \cdots & x_{1n}\\ 1& x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& x_{m1}& x_{m2}& \cdots & x_{mn}\end{array}\right)$

最后我们对w进行求导，等于0，即求出最优解。在求导之前，先补充一下线性代数中矩阵的知识：
1.左分配率：$A(B+C)=AB+AC$；右分配率：$(B+C)A=BA+CA$
2.转置和逆：$(A^T{)}^{-1}=(A^{-1}{)}^T$，$(A^T{)}^T=A$
3.矩阵转置的运算规律：$(A+B{)}^T=A^T+B^T$；
$(AB{)}^T=B^T{A}^T$

然后介绍一下常用的矩阵求导公式：
1.$\frac{\delta X^{T}AX}{\delta X}=(A+A^T)X$

2.$\frac{\delta AX}{\delta X}=A^T$

3.$\frac{\delta X^{T}A}{\delta X}=A$

然后我们来看一下求导的过程：
1.展开原函数，利用上面的定理
$$\begin{gathered} J(w)=(Xw-y{)}^T(Xw-y)=((Xw{)}^T-y^T)(Xw-y) \\ =w^T{X}^{T}Xw-w^T{X}^{T}y-y^{T}Xw+y^{T}y \end{gathered}$$
2.求导，化简得，
$$\begin{gathered} \frac{\delta J(w)}{\delta w}=(X^{T}X+(X^{T}X{)}^T)w-X^{T}y-(y^{T}X{)}^T=0 \\ ⟹2X^{T}Xw-2X^{T}y=0 \\ ⟹X^{T}Xw=X^{T}y \\ ⟹w=(X{X}^T{)}^{-1}{X}^{T}y \end{gathered}$$

最后补充一下关于矩阵求导的一些知识，不懂可以查阅：矩阵求导、几种重要的矩阵及常用的矩阵求导公式