用梯度下降法来调整参数w和b

我们已经学会了代价方程,其中我们知道要使得代价方程最小,我们需要尝试出一组w和b,使其达到最小。这篇文章就要介绍如何用梯度下降法来找到w和b。

如下图所示,代价方程在三位空间的表现形式可以是下面这样的。无论我们从代价函数的哪个点开始进行梯度下降,最终都会达到最低点。

图片发自App


下图所示只取了J和w。

按照梯度下降法的方式,我们无论从J曲线上哪个点开始,都可以达到最低点。具体原理可以看w关于J的公式。dJ/dw是这条曲线的斜率。斜率前面的阿尔法是学习速率,用来下降的速度。当w在最低点的右边,曲线斜率为正,所以w的值会不断的降低直到最小。左边同理,w会不断变大到J最小为止。这个梯度下降法公式同理也可以运用于b,只需做如下图所示的调整即可。

图片发自App

你可能感兴趣的:(用梯度下降法来调整参数w和b)