对简单梯度下降方法的分析总结，有关步长，梯度精度和迭代次数

对简单梯度下降方法的分析总结，有关步长，梯度精度和迭代次数

我们对一组数据进行简单函数拟合时，会用到一种基础方法即梯度下降法

基本原理

• 现在我们有一组数据

$$x_i,y_i,z_i$$

• 这些数据之间的关系为

$$w_1\ast x_i+w_2\ast y_i+b=z_i，w_1,w_2,b为未知的参数$$

他们之间是函数关系Z(x, y)

• 现在我们要从现有的这n组数据中进行分析，最终找到一组符合这组数据的w1, w2, b，一开始我们并不清楚这三个参数
  

  • 首先可以初始化这三个参量都为0,并由此根据现有的x，y值算出我们对于z的预测$A_i$，设$\theta$为向量（w1， w2）

  • 之后对方差函数

    J ( θ ) = 1 n