ML 线性回归原理推导以及灵魂拷问 (面试必考知识点)

⭐线性回归： 其实我们初中应该都接触过了，当时应该是根据样本点来用最小二乘法来求解线性回归方程，已达到用线性函数去拟合数据点的目的。但当时没考虑太多，只是在二维空间中求解，所以比较简单。但当n超大的时候，就很难求解了，且矩阵不可逆的情况下，无法求解（即多项式无法直接得出解析解）。这时就需要借助迭代法（e.g. 梯度下降来解决）。

最小二乘法求解线性回归，究竟有什么难为情的地方？是时候揭开我们童年的谜底了！下面让我们一探究竟！坐稳了老铁！

导航：

ID	算法
NO.1	最小二乘法求解线性回归？
NO.2	为何要用迭代法求解线性回归？
NO.3	为什么线性回归常常使用平方差形式的损失函数？ (ML角度解释，统计角度推导)
NO.4	逻辑回归 和 线性回归 的区别？

---

1、最小二乘法求解