最小二乘法矩阵推导

最小二乘法矩阵推导

特征变量： $$X=\left[\begin{array}{cccc}1& x_1^{(1)}& \cdots & x_n^{(1)}\\ 1& x_4^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& ⋮& ⋮\\ 1& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]$$

预测模型参数： $$\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$$

预测值：$$H_{\theta }(x)=X\cdot \theta =\left[\begin{array}{cccc}1& x_1^{(1)}& \cdots & x_n^{(1)}\\ 1& x_4^{(2)}& \cdots & x_n^{(2)}\\ ⋮& ⋮& ⋮& ⋮\\ 1& x_1^{(m)}& \cdots & x_n^{(m)}\end{array}\right]\cdot \left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]$$

实际值： $$Y=\left[\begin{array}{c}{y}^{(0)}\\ y^{(1)}\\ ⋮\\ y^{(n)}\end{array}\right]$$

我们希望自己的预测值尽可能等于观测值，所以可以令：$$X\cdot \theta =Y$$ 在这个式子中， $X$是我们选取的特征变量， $Y$是目标值（标签），它们都属于已知量，那么$\theta$ 的参数就可以去求解出来，求解过程如下：

两边同时左乘$X^{\mathrm{T}}$ 得到：$$X^{\mathrm{T}}X\cdot \theta =X^{\mathrm{T}}Y$$
这里为什么要乘$X^{\mathrm{T}}$ ，因为要求解逆矩阵，而只有方阵才有逆矩阵，$X^{\mathrm{T}}X$ 就凑出一个方阵了。
两边同时再左乘${\left(X^{\mathrm{T}}X\right)}^{-1}$ 得到： $$\theta ={\left(X^{\mathrm{T}}X\right)}^{-1}{X}^{\mathrm{T}}Y$$ （注意： 上式中逆矩阵得存在）
所以： $$\theta ={\left(X^{\mathrm{T}}X\right)}^{-1}{X}^{\mathrm{T}}Y$$