2.吴恩达机器学习笔记全干货（第二章：单变量线性回归）

1.

符号：m=训练样本中的数量

           x=输入变量

           y=输出变量

           (x,y)=一个训练样本

           (x(i),y(i))=第i个训练样本

流程：

2.整体目标

（J为代价函数，又叫平方误差函数，平方误差代价函数）

3.通过图像进一步了解代价函数（二维）

4.通过等高线图了解代价函数（三维）

5.梯度下降（适用于单变量回归线性外更一般的函数）

    步骤：1.给定初始值（常常两个均为0）

               2.不停地一点点改变theta0和theta1，使J(theta0,theta1)变小，直到找到J的最小值

    特点：出发位置不同，可能得到不同的局部最优解

    定义：

（：=表示赋值，α表示学习速率，值大则下降速度快）

两个θ同时更新：

6.梯度下降知识点总结

    α值过小：梯度下降缓慢；过大：导致无法收敛或发散

    在梯度下降算法中，当我们接近局部最低点时，梯度下降算法会自动采取更小的幅度 （没有必要再另外减小α）

7.线性回归的梯度下降

Batch梯度下降（特点：全览整个数据集）

注：线性回归J（θ0，θ1）为凸函数，没有局部最优解，只有一个全局最优。