机器学习 学习总结 第一章 监督学习中的线性回归算法

监督学习中的线性回归算法

监督学习:对于每一个数据,给出了“正确的答案”

线性回归算法

回归问题: 回归是指我们根据之前的数据预测一个准确的输出值
分类问题: 当我们要预测离散的输出值,0/1离散值输出问题
数据集(训练集)
以房子价格为例,数据集就包含不同房屋的价格,我们需从数据中学习预测房屋价格。
机器学习 学习总结 第一章 监督学习中的线性回归算法_第1张图片
m表示数据集中数据的数量,x为输入量,y为输出量。(x,y)为一个数据实例。
机器学习 学习总结 第一章 监督学习中的线性回归算法_第2张图片
h为从x到y的一个映射。 Learning Algorithm 为算法。h(x)=θ0+θ1x. 线性方程为最简单的一种模型
如何选择不同的模型参数θi
机器学习 学习总结 第一章 监督学习中的线性回归算法_第3张图片
最小化问题:找到θ0和θi使得1/2m*Σ(h(x(i))-y(i))²最小。h(x(i)) 为预测值,y(i)为数据值。

代价函数

代价函数(平方差成本函数):
J(θ0,θi)=1/2m*Σ(h(x(i))-y(i))² , 即求代价函数的最小值。
机器学习 学习总结 第一章 监督学习中的线性回归算法_第4张图片
h(x)是关于x的函数,而J(θ)是关于θ的函数。 对于每一个θ都有一个确定的h(x)来拟合数据集。 拟合度就可由上面公式算出,就是J(x). 我们要做的求出一个θ值,使得J(θ)最小。对于的h(x)就是最适合的线性回归方程。
机器学习 学习总结 第一章 监督学习中的线性回归算法_第5张图片
如图,分别去不同的θ值画出了了J(θ)的函数图像,可以看出θ=1时取值最小。
对于两个变量 θ0 和θ1 的线性回归方程:
机器学习 学习总结 第一章 监督学习中的线性回归算法_第6张图片
做法和之前的一样,给出一个数据集,选取不同的θ0和θ1值来拟合数据,并求出对于的代价函数值J(θ0,θ1)。 函数图像如图:机器学习 学习总结 第一章 监督学习中的线性回归算法_第7张图片
在三维图像中可以看出,对于不同 的θ0和θ1值,都能求出一个J(θ0,θ1)值。呈一个曲面,曲面的最低点就是我们要求的点。
机器学习 学习总结 第一章 监督学习中的线性回归算法_第8张图片

梯度下降算法

算法公式

先对θ0和θ1初始化,通过不停的变换θ0和θ1的值来使J(θ0,θ1)减小,直到J(θ0,θ1)取最小值或局部最小值。算法公式如图:
机器学习 学习总结 第一章 监督学习中的线性回归算法_第9张图片
我们要做的就是不断运用这个公式来更新θ值来实现梯度下降,找到J(θ0,θ1)的最小值。
:=表示赋值。 a:=b即把b的值赋给a。
α被称为学习效率。在梯度下降算法中,α就相当于我们下山时会迈出u多大的步子,α值越大,在相应的梯度下降过程中,步子越大,速度越快。即控制以多大的幅度更新θ0和θ1.
微分项即求偏微分。
还有一个问题在于更新θ0和θ1的值。更新公式如图:
机器学习 学习总结 第一章 监督学习中的线性回归算法_第10张图片
temp0和temp1作为中间变量,先分别算出,再分别赋值给θ0和θ1.

梯度下降法的理解

为什么梯度下降法可以帮我们找到代价函数的最小值。通过J(θ)函数来理解。我们假设 J(θ)函数在θ=θ0处取得最小值。再去一个θ1>θ0,作为初始值。选定一个学习效率α,求出θ1点处的倒数,运用上面的算法公式算出θ2.因为θ1处的导数大于0,所有θ2<θ1,只要选取的α值合理(不要太大,太大可能造成离散,也不要太小,太小效率太低,要很久才能达到最低点。),就可以满足θ0<θ2<θ1,θi逐渐趋近θ0. 当θi=θ0时,θi保持不变(因为最低点处导数为0)。

J(θ0,θ1) 梯度函数的理解

迭代算法公式:机器学习 学习总结 第一章 监督学习中的线性回归算法_第11张图片意思和之前的差不多

你可能感兴趣的:(机器学习)