线性回归最小二乘法公式推导

符号表示

首先我们将训练样本的特征矩阵X进行表示，其中N为样本个数，p为特征个数，每一行表示为每个样本，每一列表示特征的每个维度：
$$X={\begin{array}{c}\left(\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ...& ...& ...& ...\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)\end{array}}_{N\cdot p}$$

然后我们对训练样本的标签向量Y和权重向量w进行表示，其中权重向量指的是线性回归中各个系数形成的向量。
$$Y=\begin{array}{c}\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_N\end{array}\right)\end{array}$$

$$w=\begin{array}{c}\left(\begin{array}{c}{w}_1\\ w_2\\ ...\\ w_p\end{array}\right)\end{array}$$
为了方便运算，我们把$y_i=x_{i}w+b$中的b也并入到w和x中。则上述的符号表示则为：

$$X={\begin{array}{c}\left(\begin{array}{ccccc}{x}_{10}& x_{11}& x_{12}& ...& x_{1p}\\ x_{20}& x_{21}& x_{22}& ...& x_{2p}\\ ...& ...& ...& ...& ...\\ x_{N0}& x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right)\end{array}}_{N\cdot p}$$

$$w=\begin{array}{c}\left(\begin{array}{c}{w}_0\\ w_1\\ w_2\\ ...\\ w_p\end{array}\right)\end{array}$$

公式推导

$$L(w)=\sum _{i=1}^N(x_{i}w-y_i{)}^2$$
$$w=\arg \min L(w)=\arg \min \sum _{i=1}^N(x_{i}w-y_i{)}^2$$
为什么是转置乘以原矩阵，这是由于Y是列向量，则$(XW-Y)$则也是列向量。根据矩阵乘法的定义，只有行向量乘以列向量，最终结果才是一个常数。
$$L(w)=(XW-Y{)}^T(XW-Y)$$
$$L(w)=(W^T{X}^T-Y^T)(XW-Y)$$
$$L(w)=(W^T{X}^{T}XW-2W^T{X}^{T}Y+Y^{T}Y)$$
$$\frac{\partial L(w)}{\partial w}=2X^{T}XW-2X^{T}Y=0$$
$$W={(X^{T}X)}^{-1}{X}^{T}Y$$