个人笔记——机器学习.最小二乘法

---

最小二乘法（LSM）学习与理解

---

1.方法意义

最小二乘法是一种用来求解回归模型的方法，通过实现使残差平方和最小化的目标来确保模型具有最佳的拟合度。

2.方法的数学推导

           (1)    (为m维向量)

                 (2)

                  (3)

                         (4)

                  (5)

                         (6)

               (7)

建立目标函数：

对分别求、的偏导：                                   (8)

以一维的为例，由上述等式可以得到两组方程：

                         (9)

              (10)

可分别求出：

                      (11)

      (12)

3.矩阵表达

多元回归模型系数众多，利用矩阵可简洁表达。

                 (1)

                                                       (2)

              (3)

 (推导过程可参考https://blog.csdn.net/monsterhoho/article/details/46753673和张贤达教授《矩阵分析》)

参考文献：《atistical and Econometric Methods for Transportation Data》，Simon P. Washington

                 《矩阵分析》，张贤达