吴恩达 深度学习 梯度下降法

吴恩达 深度学习 梯度下降法_第1张图片关于梯度下降法 在这个是关于w和b的两个变量 因此产生的代价函数J是三维的 那么在这里我们对w和b来进行梯度下降法 就可以得到最优解 三维的不是很直观 因此下面将采用二维的来进行说明梯度下降法
吴恩达 深度学习 梯度下降法_第2张图片如图所示 在这里你可以理解为先固定齐整一个参数 对另外一个参数进行更新 则关于代价函数 变成了一个二维的图形 如上图所示 那么二维图形就将直观很多 比如这里固定的是b 则是关于一个w的函数 那么求w函数的最优解 w = w - a dJ/ dw 其中a表示学习率 可以称之为步长 对于步长的选取很重要 如果选大了 则会有可能跳过最优解 而步长选小了 则有可能会更新的太慢 效率太低了 暂时先不考虑学习率a的选取方法 通过这样一个式子 可以得到一个最优解 同理 当固定w时 也可以得到一个关于b的函数的最优解 那么这在三维上就变成了一个内循环了 在python代码上对于w b的偏导 直接写为 dw db

你可能感兴趣的:(深度学习)