批剃度下降算法 Batch Gradient Descent Algorithm

名词解释

batch 指的是每一次迭代计算参数的时候都是对整个样本进行遍历

计算流程

对于样本数量为m个的训练集

首先初始化参数值(对于有多个局部极值local optimum的问题 不同的初始化值会得到不同的局部极值)

即令每一个θ都为某一个值

然后利用公式

批剃度下降算法 Batch Gradient Descent Algorithm_第1张图片

h是预测值

y是样本输出值

x是样本输入值

j是样本数

α是剃度速率 也就是控制每次收敛幅度的一个系数

 

迭代计算更新θ值,直至变化量为0等。

原理解释

h与y的差值表示预测值与样本实际值之间的差距

通过减小这个差距来拟合 也就是得到更接近样本的输入与输出关系

然后通过拟合来的关系函数来计算需要的预测

 

公式推导

x表示样本的输入值 θ表示输入值前面的参数

定义为差值

求最值的情况利用偏导数

最后得到结果

批剃度下降算法 Batch Gradient Descent Algorithm_第2张图片

 

矩阵计算

批剃度下降算法 Batch Gradient Descent Algorithm_第3张图片

批剃度下降算法 Batch Gradient Descent Algorithm_第4张图片

批剃度下降算法 Batch Gradient Descent Algorithm_第5张图片

以上为原创,未经许可,不可转载。

 

你可能感兴趣的:(批剃度下降算法 Batch Gradient Descent Algorithm)