自己对gradient的误解-----理解gradient descend算法

ref: http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html


首先,对于f(x)的gradient,如果x是k维,则gradient就是k维,就是在x的domain里,gradient的方向会使得f(x)的增加最快。


自己对gradient的误解-----理解gradient descend算法_第1张图片注意这里的gradient并不是两个cross black point 之间的方向,这个方向是3维的。而是在2维投影平面中的一个方向,即   

                                                       


这张图就可以看出,对于一个f(x,y)函数,其gradient,只是在x-y平面里的方向


这样理解gradient descent就通顺了。每个参数can be updated below




自己对gradient的误解-----理解gradient descend算法_第2张图片   





自己对gradient的误解-----理解gradient descend算法_第3张图片    

你可能感兴趣的:(自己对gradient的误解-----理解gradient descend算法)