机器学习入门学习第二章：线性回归模型（吴恩达）

1.模型描述——线性回归模型

模型举例——房价预测：监督学习、回归问题。

2.一些符号表示：

m 训练样本training example的数量

（x,y)  表示一个训练样本

（x^(i),y^(i))  表示第i个训练样本

如下数据：x^(1) = 2104,  y^(1) = 460

学习算法的任务是输出一个函数function，用小写字母h 表示

h代表假设函数hypothesis。

线性关系：注：简写h(x)

上面是一个一元线性回归/单变量线性回归。

3.平方误差代价函数

不同的值不同的h(x)，不同的直线

——> 找到与数据点很好拟合的theta0和theta1的值

——最小化问题（minimization）

关于θ0和θ1求代价函数cost function J的最小值（优化目标Goal）。

代价函数也被称作平方误差代价函数。

4.代价函数图如碗状（凸函数）

三维图：

等高线图：

5.将代价函数J最小化的梯度下降法（Gradient descent）

如三维图，想象从山上的一个点环顾四周，迈出步子，找到最快的方法下山。

得到局部最优解 local optimum。

数学原理：

重复这一步（红箭头），直到收敛convergence

:=  表示赋值assignment

比较a:=b表示赋值，a=b表示断言判断（a与b是否相等）。

α（alpha）：一个学习率learning rate的数字。α用来控制梯度下降时，我们迈出多大的步子。控制我们以多大的幅度更新θj.

α很大，梯度下降就很迅速。太大将导致无法收敛。

需要同时更新θ0和θ1. Simultaneous Update同步更新

导数项：

一个参数举例直观说明导数项的意义：

导数值会越来越小，梯度下降的幅度越来越小。没必要另外减小α。

6.总结计算

结论可以直接用。

7.应用

以上，我们称为Batch梯度下降