神经网络和深度学习-2.2梯度下降法

回顾成本函数J和预测的y hat

image.png

注意这里的J被定义为1/m的损失函数之和

目前的任务是找到w和b最小化J(w,b)

神经网络和深度学习-2.2梯度下降法_第1张图片
image.png

使用一个一纬的w可以比较容易的画出上图
主要分为2个部分,如果代价函数关于w的导数是正的那么下一次更新就往左边移动,相反的如果导数是负的,那么就要往右边移动,更新的公式如下


神经网络和深度学习-2.2梯度下降法_第2张图片
image.png

很显然更新公式要找到这个凸函数的全局最优解
利用梯度下降法的关键点在于求偏导数

你可能感兴趣的:(神经网络和深度学习-2.2梯度下降法)