最小二乘法

最近在看线性回归，一步步往下追，追到了最小二乘法公式

最小二乘法公式是一个数学的公式，在数学上称为曲线拟合，此处所讲最小二乘法，专指线性回归方程最小二乘法公式为b=y(平均)-a*x（平均）。

最小二乘

找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。

最小二乘法的核心是权衡，因为你要在很多条线中间选择，选择出距离所有的点之和最短的；

换一种方式描述最小二乘法：

（1）已知多条近似交汇于同一个点的直线，想求解出一个近似交点：寻找到一个距离所有直线距离平方和最小的点，该点即最小二乘解；

（2）已知多个近似分布于同一直线上的点，想拟合出一个直线方程：设该直线方程为y=kx+b，调整参数k和b，使得所有点到该直线的距离平方之和最小，设此时满足要求的k=k0，b=b0，则直线方程为y=k0x+b0。

举个最简单的例子理解最小二乘

假设身高是变量X，体重是变量Y，我们都知道身高与体重有比较直接的关系。生活经验告诉我们：一般身高比较高的人，体重也会比较大。但是这只是我们直观的感受，只是很粗略的定性的分析。在数学世界里，我们大部分时候需要进行严格的定量计算：能不能根据一个人的身高，通过一个式子就能计算出他或者她的标准体重？

接下来，我们会找一些人进行采样，我们会得到一堆数据(x1,y1),(x2,y2),⋯,(xn,yn)，其中x是身高，y是体重。

得到这堆数据以后，接下来肯定是要处理这堆数据了。生活常识告诉我们：身高与体重是一个近似的线性关系，用最简单的数学语言来描述就是y=β0+β1x。于是，接下来的任务就变成了：怎么根据我们现在得到的采样数据，求出这个β0与β1呢？这个时候，就轮到最小二乘法发飙显示威力了。

最小二乘的cost function

在讲最小二乘的详情之前，首先明确两点：1.我们假设在测量系统中不存在有系统误差，只存在有纯偶然误差。比如体重计或者身高计本身有问题，测量出来的数据都偏大或者都偏小，这种误差是绝对不存在的。（或者说这不能叫误差，这叫错误）2.误差是符合正态分布的，因此最后误差的均值为0（这一点很重要)

最小二乘法的求解

根据样本的回归模型很容易得出：

我擦....

用到了求导，到此为止，打住....

作者：刘敬

链接：https://www.jianshu.com/p/4f5ba63ae291

來源：

著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。