机器学习系列之最小二乘法

最小二乘法

最小二乘法,又称最小平方法,是机器学习中基础的算法之一,它是一种优化算法,通过最小化误差的平方来寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。在机器学习中,还可以使用最小二乘法来进行曲线拟合。

机器学习系列之最小二乘法_第1张图片
上图介绍的上海市长宁区部分房价的信息,从散点图可以发现,房子的大小和房价彼此之间有一些依赖关系,由房子大小可以决定房子的价格,但是这种关系又是不确定的,这时候我们可以利用统计学中的回归模型来寻找这两个变量之间的关系。具体步骤如下:

  1. 画散点图,直观判断;
  2. 用近似模型来描述它们的关系,如一元线性模型;
  3. 建立回归模型;
  4. 对模型进行参数估计,最小二乘法是这些参数估计的一种常用的方法,这也是本篇博文讲述的重点;
  5. 讨论模型的效果;

为了描述简单,本篇文章将采用一元线性模型( Y=w0+w1X )建立回归模型来介绍最小二乘法。

Yi^=w0+w1Xi11

其中, Yi^ 是根据回归模型求得的值,则 Yi Yi^ 的差就是该模型的误差。则平方损失函数为:
S=i=1n(YiYi^)2=i=1n(Yiw0w1Xi)212

分别对 w0,w1 求偏导得:

Sw0=2i=1n(Yiw0w1Xi)13

Sw1=2i=1n(Yiw0w1Xi)(Xi)14

根据我们的数学知识,函数的极值点为偏导数为0的点。即

Sw0=015

Sw1=016

亦即
nw0+i=1n(Xi)w1=i=1nYi17

i=1n(Xi)w0+(i=1nx2i)w1)=i=1n(XiYi)18

对式1-7和式1-8求解得:

w0=ni=1Yinw1ni=1Xin19

w1=[nni=1XiYi(ni=1Xini=1Yi)nni=1X2i(ni=1Xi)2110

此时,把 w0,w1 带入式1-1,就是我们要求的回归模型。

你可能感兴趣的:(机器学习,最小二乘法,机器学习,优化算法)