梯度下降模型

loss function衡量单一样本的精度。cost function衡量对样本集m的总体精度。那么如何找到这样一组m和b呢?我们需要用梯度下降模型来训练。

下图就是一个梯度下降模型。为了便于说明,我们设w和b均为一维实数向量。我们可以看到代价函数J(w,b)是一个凸函数,而最低点则是我们想要的点。

在开始训练时,我们可以任意取一点作为初始点。取在哪并没多少关系,因为这个点总会朝着最陡的方向走向最低点。可能走一步(一次迭代),2步3步,但最终都会到达。



梯度下降模型_第1张图片
图片发自App

你可能感兴趣的:(梯度下降模型)