机器学习中的数学原理——最小二乘法

这几天在刷B站的时候,有个深度学习的博主推荐了一本机器学习的书——《白话机器学习的数学》,抱着浅看一下的态度,我花3个大洋从淘宝上找到了这本书的电子版。看了两天我直接吹爆!!!所以这个专栏就分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!

目录

一、什么是最小二乘法 

二、实战案例 

三、总结


一、什么是最小二乘法 

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差(真实目标对象与拟合目标对象的差)的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。

二、实战案例 

下图是商家广告费点击量之间散点图,假设存在这样一个前提:投入 的广告费越多,广告的点击量就越高,进而带来访问数的增加,但是他们之间并不是简单的线性关系。

机器学习中的数学原理——最小二乘法_第1张图片 

 现在问当广告费为200时,它的点击量是多少呢?我们可以先估计一下,取它前后的两个点,估计点击量时在400-600之间。再画图预测一下:

机器学习中的数学原理——最小二乘法_第2张图片

 从这个图里面我们可以进一步猜测,大概是在500次左右。高中物理课堂上我们学过拟合函数,即根据给的x-y点,拟合出函数的表达式,为了研究的方便,这里我们就用最简单的一次函数来拟合吧:

通过我们的直觉判断,我们大致可以拟合成这样:

机器学习中的数学原理——最小二乘法_第3张图片

现在我们的目标只要求出θ0和θ1就可以啦!那这个θ0和θ1怎么求呢?我们可以假设θ0=1,θ1=2,那么这个表达式就变成:

这样的话,我们就可以将真实值与我们通过上面的y=1+2x计算出来的值相对比啦! 

 机器学习中的数学原理——最小二乘法_第4张图片

首先给出最小二乘法误差计算公式:

机器学习中的数学原理——最小二乘法_第5张图片 

为了避免引起误解我先 说明一下:x(i) 和 y(i) 中的 i 不是 i 次幂的意思,而是指第 i 个训练数据。前面加上二分之一是为了微分计算方便,可以不加理会,记住这个公式就可以。所有我们上面的误差就可以计算了:

机器学习中的数学原理——最小二乘法_第6张图片

我们可以看到误差达到了112176.5,是一个很大数字,所以我们要做的事就是改变参数θ的值,使得误差E(θ)尽可能小,即修改参数 θ,使这个值变得越来越小。

就是的做法称为最小二乘法!是不是很简单,没有想象中的那么难。

三、总结

上述例子中,我们用一次函数拟合曲线,通过选择不同的参数θ使得误差E(θ)越来越小,则我们称拟合的效果也越来越好。这是比较理想的状态,一次函数是很简单的一种函数表达式,如果我们想要E(θ)更小,拟合效果更好,那么我们需要考虑更加复杂的函数表达式,这就是我们后面所要学习的神经网络——它可以拟合任何曲线!当然这是后话,我们的学习还在进行中!

 

你可能感兴趣的:(机器学习,白话机器学习的数学学习笔记,最小二乘法,人工智能,深度学习,神经网络)