斯坦福机器学习公开课学习笔记(2)—监督学习 梯度下降

(转载请注明出处：http://blog.csdn.net/buptgshengod)

1.感受

        这一节课Andrew讲的是监督学习应用中的梯度下降方法（Supervised-Learning,grading and descent）。

        公式比较多，不过还比较基础，主要是一些矩阵论的应用。

2.笔记   

      Grading and descent 主要用到的就是一个回归的思路。整体的流程见下图。

      X1，X2....表示的不同的特征，经过算法H的变化，输出Y1，Y2......。可以用公式表达为，X边上的变量就是我们要回归得到的系数。

     判断公式。这个ml回归中常用的判断公式，当J函数取到最下情况就是我们所需要的结果。

     Andrew形容梯度下降好比一个下山问题。我们首先随机选择出发点，也就是的取值，然后通过J函数求导，不断改变的值，得到最终的回归公式。这就类比于我们一步一步下山，直到山底，值不再变化。

    梯度下降还有一个特点就是最终的值根据不同的出发点而不同。