简单线性回归和最小二乘法

前言

线性回归模型看起来非常简单，简单到让人怀疑其是否有研究价值以及使用价值。但实际上，线性回归模型可以说是最重要的数学模型之一，很多模型都是建立在它的基础之上，可以被称为是“模型之母”。

简单线性回归

所谓简单，是指只有一个样本特征，即只有一个自变量；所谓线性，是指方程是线性的；所谓回归，是指用方程来模拟变量之间是如何关联的。

简单线性回归，其思想简单，实现容易（与其背后强大的数学性质相关。同时也是许多强大的非线性模型（多项式回归、逻辑回归、SVM）的基础。并且其结果具有很好的可解释性。
在我看来，简单线性回归就像是在求解我们初中时代学习的一元线性方程 y = ax + b的a、b参数一样，只不过这次求的是最符合样本数据的近似解，使得误差最小。

我们来看一个例子，温度与冰淇淋的销量：

看上去像是某种线性关系：

那么我们就假设这种关系是:
f(x) = ax + b
简单线性回归就是要寻求出a、b的值，使得f(x)最拟合真实情况。也就是真实的y值和预测的f(x)的差距尽可能的小。

通常来说，为了防止正误差值和负误差值相抵的情况，使用绝对值来表示距离：|y-f(x)|，但是在线性回归中，我们需要找极值，需要函数可导，而 不是一个处处可导的函数，因此很自然地想到可以使用：

考虑所有样本，我们推导出：

因此我们的目标就是：已知训练数据样本x、y ，找到a和b的值，使

尽可能小，从而得出最佳的拟合方程。

最小二乘法

举一个生活中的例子。比如说，有五把尺子：

用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：

有误差的情况下，一般取平均值来作为线段的长度：

首先，把测试得到的值画在笛卡尔坐标系中，分别记作 ：

其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作 ：

每个点都向 y做垂线，垂线的长度就是|y—yi| ，也可以理解为测量值和真实值之间的误差：

因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：

总的误差的平方就是：

因为 y是猜测的，所以可以不断变换：

自然，总的误差 也是在不断变化的。

法国数学家，阿德里安-馬里·勒讓德（1752－1833，）提出让总的误差的平方最小的 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动。

这就是最小二乘法，即：

这个猜想也蛮符合直觉的，来算一下。

这是一个二次函数，对其求导，导数为0的时候取得最小值：

image.png

进而：

正好是算术平均数。

原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。

以下这种方法：

就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。

最小二乘法推导简单线性回归

之前我们了解到的简单线性回归的目的:

已知训练数据样本x、y ，找到a和b的值，使

尽可能小，从而得出最佳的拟合方程。

那么我们利用最小二乘法来求解简单线性回归的解：

最终我们通过最小二乘法得到a、b的表达式：